Python爬取中国院士信息,揭秘人才聚集地
院士(Academician)一词源自古希腊传说中的英雄Academy,这位英雄为了拯救雅典而牺牲,是科学及学术界的最高荣誉头衔。要了解中国院士的分布情况,我们可以借助Python爬虫来获取详细信息。背景调研目前,中国院士总数超过1500人,其中科学院院士799人,工程院院士875人。科学院院士名单:http://www.casad.cas.cn/chnl/371/index.html工程院院士名单:http://www.cae.cn/cae/html/main/col48/column_48_1.htm
院士(Academician)一词源自古希腊传说中的英雄Academy,这位英雄为了拯救雅典而牺牲,是科学及学术界的最高荣誉头衔。要了解中国院士的分布情况,我们可以借助Python爬虫来获取详细信息。
背景调研
目前,中国院士总数超过1500人,其中科学院院士799人,工程院院士875人。
- 科学院院士名单:http://www.casad.cas.cn/chnl/371/index.html
- 工程院院士名单:http://www.cae.cn/cae/html/main/col48/column_48_1.html
本文将以工程院院士信息的抓取为例进行详细讲解。
工程院士出生地分布图

必备模块
通过pip安装以下模块:
- scrapy爬虫框架模块
- jieba分词模块
- win32api
如果遇到ImportError: DLL load failed: 找不到指定的模块错误,请将D:\Python27_64\Lib\site-packages\pywin32_system32下的所有文件复制到C:\Windows\System32目录下。
爬虫流程
建立爬虫项目:在E盘下创建
project_scrapy文件夹,进入该文件夹并打开cmd窗口,运行以下命令搭建爬虫框架:scrapy startproject engaca_spider
目录树如下:
E:\project_scrapy>tree /f
设置输出内容:在
items.py中添加如下内容:# -*- coding: utf-8 -*-
在
settings.py中设置爬虫源头,添加以下语句:starturl = 'http://www.cae.cn/cae/html/main/col48/column_48_1.html'
省份列表文件:在
scrapy.cfg的同层文件夹中存放pro_list.txt文件。链接:https://pan.baidu.com/s/1brg0MIz,密码:selo爬虫核心代码:在
spiders文件夹下创建aca_spider.py文件,添加以下代码:# -*- coding: utf-8 -*-
结果输出代码:在
pipelines.py中处理输出内容,可以将内容保存到数据库或文本文件中。这里直接保存到result.txt中:# -*- coding: utf-8 -*-
在
settings.py中指定输出管道:ITEM_PIPELINES = { # ... }运行爬虫:在
scrapy.cfg的同层文件夹下打开cmd窗口,运行以下命令:scrapy crawl EngAca
结果文件
result.txt将生成在该目录下。
数据可视化
利用pycharts进行数据可视化,参照教程绘制地图热图。根据生成的热图,我们可以看出,江苏省的院士数量最多,超过100人,确确实实是一个人杰地灵的地方。

项目所有文件
所有项目文件的链接:https://pan.baidu.com/s/1smligBN,密码:jdst
总结
这是一个基础且重要的爬虫练习,涉及到的内容没有JS加密和反爬措施。通过这个练习,可以熟悉爬虫框架的使用。数据预测未来,掌握这些技能可以让我们在做事时先人一步。
Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。
















