Python怎么动态爬取和清洗每日更新的宏观经济指标_利用requests调用API并与Pandas增量合并

Python怎么动态爬取和清洗每日更新的宏观经济指标_利用requests调用API并与Pandas增量合并

requests 调用国家统计局或 Wind/CEIC API 时返回 403 或空数据

很多朋友第一步就卡住了：明明照着文档写的requests.get(url)，怎么要么返回403，要么拿到一堆空数据？问题根源在于，多数官方或商业API的默认防线就是识别并拦截非浏览器请求。国家统计局开放平台（data.stats.gov.cn）虽然提供了HTTP接口，但需要携带正确的Cookie和User-Agent，部分关键接口甚至要求先登录获取token。至于Wind或CEIC这类商业数据源，更是必须通过其官方SDK或认证后的HTTPS端点来访问，直接裸调URL基本行不通。

怎么解决？核心思路是模拟一个“合法”的浏览器会话，并遵循平台特定的认证流程：

立即学习“Python免费学习笔记（深入）”；

• 首先，使用requests.Session()来维持会话，并统一设置请求头，特别是User-Agent，将其伪装成常见浏览器。
• 针对国家统计局平台，一个常见的做法是：先GET访问一次首页，自动捕获必要的Cookie（如__jsluid_s），然后再携带参数POST到真正的查询接口https://data.stats.gov.cn/easyquery.htm。
• 对于Wind/CEIC这类服务，别费劲去逆向破解URL了。最稳妥的方式是使用官方提供的windpy或ceic_api等Python包，传入你的授权token后，直接调用像ceic_data.get_series('GDP_YOY')这样的封装好的方法。
• 最后，记得在批量请求多个指标时，适当加入time.sleep(1)这样的短暂延迟，可以有效避免触发服务器的频率限制。

用 Pandas 合并每日新数据时索引错位或重复写入

数据拿到了，合并时却容易出乱子。宏观经济指标通常按“年-季”或“年-月”发布，但发布时间往往滞后（比如2024年4月的CPI数据要到5月9日才公布）。如果每次更新都简单粗暴地全量覆盖旧CSV文件，历史数据一旦有修正，信息就丢失了。但如果只是用pd.concat([old, new])简单拼接，又常因为日期格式不统一（比如'202404'对比'2024-04-01'）而导致重复行或产生大量NaN值。

关键在于标准化时间索引，并实现智能的增量追加：

立即学习“Python免费学习笔记（深入）”；

• 统一时间格式：使用pd.to_datetime()强制将时间列解析为标准的datetime64[ns]类型，并设置为DataFrame的索引。
• 读取时即规范：读取旧数据时，就通过pd.read_csv(..., parse_dates=['date'], index_col='date')参数一步到位。
• 去重合并：在写入新数据前，先过滤掉索引日期已存在于旧数据中的行：df_new = df_new[~df_new.index.isin(df_old.index)]。
• 排序保存：合并后按索引升序排列：df_combined = pd.concat([df_old, df_new]).sort_index()。保存时指定日期格式，如df_combined.to_csv(..., date_format='%Y-%m-%d', index_label='date')，确保下次读取无误。

增量更新时如何判断「今天是否有新数据」

宏观经济数据可不是每天更新。GDP是季度数据，只在1、4、7、10月发布；CPI/PPI通常在每月9号左右发布，遇到节假日还会顺延。所以，写死一个if datetime.now().day == 9:这样的判断逻辑并不可靠。

更聪明的做法是让程序自己“问”数据源。这里有几个实用策略：

立即学习“Python免费学习笔记（深入）”；

• 利用API元信息：例如，查询国家统计局特定接口时，返回的JSON里往往包含lastUpdateTime字段，将其与本地记录的最新日期比对即可。
• 使用数据源工具函数：对于Wind，可以直接调用w.wss(“M0000001”, “lastestdate”)来获取某个指标的最新更新日期。
• 维护本地状态记录：在本地保存一个如last_check.json的小文件，记录上次检查的时间以及各个指标对应的最新数据日期。每次运行脚本时，先读这个文件进行比对。
• 设置兜底逻辑：如果API返回了HTTP 200状态码，但data字段为空，说明本次没有新数据。此时应优雅地跳过合并步骤，而不是让整个流程报错中断。

清洗环节遇到「数值单位不一致」和「异常空值」

原始数据往往“不拘小节”。你可能遇到同一列“M2”数据，有些行单位是“亿元”，有些行变成了“万亿元”。缺失值更是五花八门，可能是“—”、“NULL”或“...”。Pandas会把这些都识别为object类型，后续任何数值计算都会出错。

清洗工作虽繁琐，但一步都不能省。可以按以下顺序处理：

立即学习“Python免费学习笔记（深入）”；

• 统一缺失标记：先用df[col].replace({‘—’: pd.NA, ‘…’: pd.NA, ‘NULL’: pd.NA})将所有奇怪的缺失表示替换成Pandas能识别的pd.NA，再转换列类型为float64。
• 识别并统一单位：如果列名中包含了单位信息，如“(亿元)”，则在清洗时对数值进行相应换算（乘以1e8）。使用正则表达式re.search(r'[(（](.+?)[)）]', col_name)可以更稳健地从列名中提取单位。
• 处理异常值：对于像CPI突然变成1000这样的明显离群点，可以用统计方法（如计算Z-score）进行标记，例如zscore = np.abs(stats.zscore(df[col].dropna()))，将Z-score大于3的点找出来，进行人工复核后再决定是填充还是剔除。
• 谨慎处理频率转换：切忌随意使用df.resample(‘MS’).interpolate(method=‘linear’)将季度数据插值为月度。对于宏观数据，频率是重要属性，应保留原始频次，并显式标注freq=‘Q’。

说到底，整个流程能否跑通，关键不在于写出多么复杂的循环，而在于那些看似琐碎的“规定动作”：每次请求前，检查一下响应结构是否正常；每次合并前，确认新旧数据的索引类型是否一致；每次清洗后，用df.info()快速扫一眼各列的数据类型。这些步骤看似微不足道，但只要你跳过任何一步，很可能下周就会发现，辛苦维护的数据表里已经混进了一整列无法计算的object型“数字”。