使用Python获取Binance历史交易数据

鉴于某些策略需要一定水平的技术数据，而其他数据可能只需要花费一个小时的时间，该过程并不总是那么简单，而基础架构，可用性和连接性等元素可能会因数据类型的不同而大相径庭。

但是为什么本文仅涉及获取“交易”数据，为什么我们使用Binance API？你可能对我的文章内容有些疑问。

数据频率和平衡

我想说，交易数据端点主要在99.99％的交易所中提供。它是细粒度的，提供了足够的详细信息（在某些非常特殊的情况下）用于回测高频交易（HFT）策略，并且可以用作 OHLC candles（1S至24H或更多，如果你想要的话）的基础。

交易数据是通用的，并且允许使用不同频率的策略进行大量实验。

为什么选择Binance？

那只是因为它是我由于数量庞大而倾向于回溯的交易所之一。

我们将要进行的编码

我们将创建一个Python脚本，该脚本接收对符号，开始日期和结束日期作为命令行参数。它将包含所有交易的CSV文件输出到磁盘。该过程可以通过以下步骤进行详细说明：

1、解析symbol，starting_date和ending_date论据。

2、获取开始日期发生的第一笔交易，以获取第一笔交易trade_id。

3、循环获取每个请求1000笔交易（Binance API限制），直到ending_date达到为止。

4、最后，将数据保存到磁盘。对于示例，我们将其保存为CSV，但是你还有其他选择，不一定保存为CSV。

5、我们将使用pandas，requests，time，sys，和datetime。在代码段中，将不会显示错误验证，因为它不会为说明添加任何值。

编码时间

该脚本将使用以下参数：

1、symbol：交易对的符号，由Binance定义。可以在此处查询，也可以从Binance Web应用程序的URL复制（不包括 _ 字符）。

-starting_date and ending_date：不言自明。期望的格式为mm/dd/yyyy，或者使用Python lang语为%m/%d/%Y。

为了获取参数，我们将使用内置函数sys（这里没有什么花哨的地方），并且为了解析日期，我们将使用datetime库。

我们将添加一天并减去一微秒，以使ending_date时间部分始终处于23:59:59.999，这使得获取当天间隔更加实用。

提取交易

使用Binance的API并使用aggTrades端点，我们可以在一个请求中获得最多1000 笔交易，如果我们使用开始和结束参数，则它们之间的间隔最多为一小时。

在出现一些失败之后，通过使用时间间隔获取（在某个时间点或另一个时间点，流动性会变得疯狂，我会失去一些宝贵的交易），我决定尝试from_id策略。

将aggTrades选择的端点，因为它返回压缩行业。这样，我们将不会丢失任何宝贵的信息。

获得压缩的总交易。在同一时间从同一订单以相同价格执行的交易将汇总数量。

该from_id策略是这样的：

我们要得到的第一笔交易starting_date 通过发送日期的时间间隔向终点。之后，我们将从第一个获取的交易ID开始获取1000个交易。然后，我们将检查最后一笔交易是否发生在我们之后ending_date。

如果是这样，我们已经遍历了所有时间段，可以将结果保存到文件中。否则，我们将更新from_id变量以获取最后的交易ID，然后重新开始循环。

取得第一个交易编号

首先，我们创建一个new_end_date。那是因为我们aggTrades通过传递a startTime和endTime 参数来使用。

现在，我们只需要知道该期间的第一个交易编号，因此我们将增加60秒。在低流动性货币对中，可以更改此参数，因为不能保证在请求的第一天发生交易。

然后，使用我们的辅助函数解析日期，以使用该calendar.timegm函数将日期转换为Unix毫秒表示形式。该timegm函数是首选函数，因为它将日期保留为UTC。

请求的响应是按日期排序的贸易对象列表，格式如下：

因此，由于我们需要第一个交易ID ，因此我们将返回该response[0]["a"]值。

主循环

现在我们有了第一个交易ID，我们可以一次提取1000个交易，直到达到ending_date。以下代码将在我们的主循环中调用。它将使用from_id参数，放弃startDate和endDate参数，执行我们的请求。

现在，这是我们的主循环，它将执行请求并创建我们的DataFrame。

我们检查是否current_time包含最近获取的交易日期大于to_date，如果是，则我们：

•  使用from_id参数获取交易
•  使用从最新交易中获取的信息来更新from_id和current_time参数
  
• 打印nice调试消息
  
•  pd.concat 这些交易与我们之前的交易 DataFrame
  
•  使用sleep让Binance不会给我们一个429 HTTP响应
  

清洁和保存

组装完之后DataFrame，我们需要执行简单的数据清理。我们将删除重复trim的交易和之后发生的交易to_date（我们有这个问题，因为我们要获取1000笔交易中的大部分，因此，我们有望在目标结束日期之后执行一些交易）。

我们可以封装我们的trim功能：

并执行我们的数据清理：

现在，我们可以使用以下to_csv方法将其保存到文件中：

我们还可以使用其他数据存储机制，例如Arctic。

最后：验证你的数据

在使用交易策略时，我们必须信任我们的数据，这一点很重要。通过应用以下验证，我们可以轻松地利用获取的交易数据来做到这一点：

在代码段中，我们将其转换DataFrame为NumPy数组，并逐行迭代，检查交易ID是否每行递增1。

Binance交易ID是以递增方式编号的，并且是为每个交易品种创建的，因此，很容易验证数据是否正确。

PS：创建成功的交易策略的第一步是拥有正确的数据。