当前位置:

首页 > 编程开发 > Python爬虫解析器BeautifulSoup4怎么使用

Python爬虫解析器BeautifulSoup4怎么使用

一、BeautifulSoup4库介绍1.介绍BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.BeautifulSoup会帮你节省数小时甚至数天的工作时间。BeautifulSoup4将网页转换为一颗DOM树:2.下载模块1.window电脑点击win键+R,输入:cmd2.安装beautifulsoup4,输入对应的pip命令:pipinstallbeautifulsoup4,我已经安装过了出现版本就

本文目录

    Python爬虫解析器BeautifulSoup4怎么使用

    一、BeautifulSoup4库介绍

    1. 介绍

    Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。

    BeautifulSoup4将网页转换为一颗DOM树:
    Python爬虫解析器BeautifulSoup4怎么使用

    2. 下载模块

    1. window电脑点击win键+ R,输入:cmd

    Python爬虫解析器BeautifulSoup4怎么使用

    2. 安装beautifulsoup4,输入对应的pip命令:pip install beautifulsoup4 ,我已经安装过了出现版本就安装成功了

    Python爬虫解析器BeautifulSoup4怎么使用
    3. 导包

    form bs4 import BeautifulSoup

    3. 解析库

    BeautifulSoup在解析时实际上依赖解析器,它除了支持Python标准库中的HTML解析器外,还支持一 些第三方解析器(比如lxml):

    解析器使用方法优势劣势
    Python标准库BeautifulSoup(html,’html.parser’)Python的内置标准库、执行速度适中、文档容错能力强Python 2.7.3及Python3.2.2之前的版本文档容错能力差
    lxml HTML解析库BeautifulSoup(html,’lxml’)速度快、文档容错能力强需要安装C语言库
    lxml XML解析库BeautifulSoup(html,‘xml'速度快、唯一支持XML的解析器需要安装C语言库
    htm5lib解析库BeautifulSoup(html,’htm5llib’)最好的容错性、以浏览器的方式解析文档、生成HTMLS格式的文档速度慢、不依赖外部扩展

    对于我们来说,我们最常使用的解析器是lxml HTML解析器,其次是html5lib.

    二、上手操作

    1. 基础操作

    1. 读取HTML字符串:

    from bs4 import BeautifulSoup
    
    html = '''
    
        
            
    Hello
        

                              Foo             Bar             Jay                               Foo                 百度官网             Bar              

      '''# 创建对象soup = BeautifulSoup(html, 'lxml')

    2. 读取HTML文件:

    from bs4 import BeautifulSoup
    
    soup = BeautifulSoup(open('index.html'),'lxml')

    3. 基本方法

    from bs4 import BeautifulSoup
    
    html = '''
    
        
            
    Hello
        

                              Foo             Bar             Jay                               Foo                 百度官网             Bar              

      '''# 创建对象soup = BeautifulSoup(html, 'lxml')# 缩进格式print(soup.prettify())# 获取title标签的所有内容print(soup.title)# 获取title标签的名称print(soup.title.name)# 获取title标签的文本内容print(soup.title.string)# 获取head标签的所有内容print(soup.head)# 获取第一个p标签中的所有内容print(soup.p)# 获取第一个p标签的id的值print(soup.p["id"])# 获取第一个a标签中的所有内容print(soup.a)# 获取所有的a标签中的所有内容print(soup.find_all("a"))# 获取id="u1"print(soup.find(id="u1"))# 获取所有的a标签,并遍历打印a标签中的href的值for item in soup.find_all("a"):     print(item.get("href"))# 获取所有的a标签,并遍历打印a标签的文本值for item in soup.find_all("a"):     print(item.get_text())

    2. 对象种类

    Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .

    (1)Tag:Tag通俗点讲就是HTML中的一个个标签,例如:

    soup = BeautifulSoup('Extremely bold','lxml')
    tag = soup.b
    print(tag)
    print(type(tag))

    输出结果:

    Extremely bold
    

    Tag有很多方法和属性,在 遍历文档树 和 搜索文档树 中有详细解释.现在介绍一下tag中最重要的属性: name和attributes:

    name属性:

    print(tag.name)
    # 输出结果:b
    # 如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档:
    tag.name = "b1"
    print(tag)
    # 输出结果:Extremely bold

    Attributes属性:

    # 取clas属性
    print(tag['class'])
    
    # 直接”点”取属性, 比如: .attrs :
    print(tag.attrs)

    tag 的属性可以被添加、修改和删除:

    # 添加 id 属性
    tag['id'] = 1
    
    # 修改 class 属性
    tag['class'] = 'tl1'
    
    # 删除 class 属性
    del tag['class']

    (2)NavigableString:用.string获取标签内部的文字:

    print(soup.b.string)print(type(soup.b.string))

    (3)BeautifulSoup:表示的是一个文档的内容,可以获取它的类型,名称,以及属性:

    print(type(soup.name))
    # 
    
    print(soup.name)
    # [document]
    
    print(soup.attrs)
    # 文档本身的属性为空

    (4)Comment:是一个特殊类型的 NavigableString 对象,其输出的内容不包括注释符号。

    print(soup.b)
    
    print(soup.b.string)
    
    print(type(soup.b.string))

    3. 搜索文档树

    1.find_all(name, attrs, recursive, text, **kwargs)

    (1)name 参数:name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉

    (2)kwargs参数

    soup.find_all(id='link2')

    (3)text参数:通过 text 参数可以搜搜文档中的字符串内容,与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表

    # 匹配字符串
    soup.find_all(text="a")
    
    # 匹配正则
    soup.find_all(text=re.compile("^b"))
    
    # 匹配列表
    soup.find_all(text=["p", "a"])

    4. css选择器

    我们在使用BeautifulSoup解析库时,经常会结合CSS选择器来提取数据。

    注意:以下讲解CSS选择器只选择标签,至于获取属性值和文本内容我们后面再讲。

    1. 根据标签名查找:比如写一个 li 就会选择所有li 标签, 不过我们一般不用,因为我们都是精确到标签再提取数据的

    from bs4 import BeautifulSoup
    
    html = '''
    
        
            
    Hello
        

                              Foo             Bar             Jay                               Foo                 百度官网
                Bar              

      '''# 创建对象soup = BeautifulSoup(html, 'lxml')# 1. 根据标签名查找:查找li标签print(soup.select("li"))

    输出结果:

    [Foo, Bar, Jay, Foo, Bar]

    2. 根据类名class查找。.1ine, 即一个点加line,这个表达式选的是class= "line "的所有标签,".”代表class

    print(soup.select(".panel_body"))

    输出结果:

    
    
    Foo
    Bar
    
    
    ]

    3. 根据id查找。#box,即一个#和box表示选取id-”box "的所有标签,“#”代表id

    print(soup.select("#list-1"))

    输出结果:

    [
    Foo
    Bar
    Jay
    ]

    4. 根据属性的名字查找。class属性和id属性较为特殊,故单独拿出来定义一个". "和“”来表示他们。

    比如:input[ name=“username”]这个表达式查找name= "username "的标签,此处注意和xpath语法的区别

    print(soup.select('ul[ name="element"]'))

    输出结果:

    [
    Foo
    Bar
    Jay
    ]

    5. 标签+类名或id的形式。

    # 查找id为list-1的ul标签
    print(soup.select('ul#list-1'))
    print("-"*20)
    # 查找class为list的ul标签
    print(soup.select('ul.list'))

    输出结果:

    [
    Foo
    Bar
    Jay
    ]
    --------------------
    [
    Foo
    Bar
    Jay
    , 
    Foo
    Bar
    ]

    6. 查找直接子元素

    # 查找id="list-1"的标签下的直接子标签liprint(soup.select('#list-1>li'))

    输出结果:

    [Foo, Bar, Jay]

    7. 查找子孙标签

    # .panel_body和li之间是一个空格,这个表达式查找id=”.panel_body”的标签下的子或孙标签liprint(soup.select('.panel_body li'))

    输出结果:

    [Foo, Bar, Jay, Foo, Bar]

    8. 取某个标签的属性

    # 1. 先取到p = soup.select(".panel_body")[0]# 2. 再去下面的a标签下的href属性print(p.select('a')[0]["href"])

    输出结果:

    https://www.baidu.com

    9. 获取文本内容有四种方式:

    (a) string:获得某个标签下的文本内容,强调-一个标签,不含嵌我。 返回-个字符串

    # 1. 先取到p = soup.select(".panel_body")[0]# 2. 再去下面的a标签下print(p.select('a')[0].string)

    输出结果:

    百度官网

    (b) strings:获得某个标签下的所有文本内容,可以嵌套。返回-一个生成器,可用list(生成器)转换为列表

    print(p.strings)print(list(p.strings))

    输出结果:

    ['\n', '\n', 'Foo', '\n', 'Bar', '\n', 'Jay', '\n', '\n', '\n', 'Foo', '\n', '百度官网', '\n', 'Bar', '\n', '\n']

    (c)stripped.strings:跟(b)差不多,只不过它会去掉每个字符串头部和尾部的空格和换行符

    print(p.stripped_strings)print(list(p.stripped_strings))

    输出结果:

    ['Foo', 'Bar', 'Jay', 'Foo', '百度官网', 'Bar']

    (d) get.text():获取所有字符串,含嵌套. 不过会把所有字符串拼接为一个,然后返回
    注意2:
    前3个都是属性,不加括号;最后一个是函数,加括号。

    print(p.get_text())

    输出结果:

    Foo
    Bar
    Jay
    
    
    Foo
    百度官网
    Bar
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 Python
    相关文章 更多
    python删除一个列表里的重复元素的方法与代码示例
    python删除一个列表里的重复元素的方法与代码示例

    学习如何使用Python高效删除列表中的重复元素。本文提供5种常见方法的代码示例,涵盖保持顺序与不保持顺序的场景,适合初学者和进阶开发者参考。

    Python写接口的步骤及完整代码示例
    Python写接口的步骤及完整代码示例

    详细讲解使用Python编写Web接口的核心步骤与完整代码示例,涵盖环境准备、路由定义、数据校验、服务启动及调试测试方法。

    codex怎么读取word文档及docx文件操作教程
    codex怎么读取word文档及docx文件操作教程

    介绍如何利用编程工具读取和解析Word文档(docx格式),涵盖基础文本提取代码示例、结构化数据处理逻辑,以及处理复杂排版时的技术局限与替代方案。

    怎么在Python中调用C语言代码提升性能
    怎么在Python中调用C语言代码提升性能

    详细讲解在Python中调用C语言代码提升性能的完整实践指南,包含原理分析、编译步骤、ctypes与CFFI具体实现、性能对比及常见陷阱。

    Python与C语言的性能差异及底层原理
    Python与C语言的性能差异及底层原理

    深入解析Python与C语言在执行效率上的数量级差异,从编译机制、变量内存布局、动态类型推断到GIL锁,系统阐明底层核心原理。

    Python和C语言哪个更适合编程入门
    Python和C语言哪个更适合编程入门

    客观对比Python与C语言在心智负担、底层机制与学习反馈上的核心差异,提供清晰有据的选择标准与切实的入门学习路径。

    selenium上传文件教程本地文件路径设置方法
    selenium上传文件教程本地文件路径设置方法

    深入解析Selenium处理文件上传的技术细节,涵盖标准HTML控件的路径直接注入法与非标准控件的系统级模拟方案,提供Windows与Linux环境下的路径设置最佳实践及常见异常排查。

    大数据开发语言选型:Java对比Scala与Python的优缺点及适用场景
    大数据开发语言选型:Java对比Scala与Python的优缺点及适用场景

    针对大数据工程场景,系统对比Java、Scala与Python在执行性能、生态结合、开发效率和维护成本上的核心差异,给出清晰的架构选型依据与落地方案。

    langgraph python guide中文入门教程详解
    langgraph python guide中文入门教程详解

    本篇LangGraph Python中文入门教程详解,系统梳理StateGraph状态机定义、节点编写、边与条件路由、检查点持久化(MemorySaver)等核心机制,提供从环境安装到完整循环智能体构建的代码示例与实操指导。

    Windows 安装 Python:从官方入口到虚拟环境的可复现实践
    Windows 安装 Python:从官方入口到虚拟环境的可复现实践

    面向后端开发者,基于 Python 官方文档说明如何在 Windows 上安装 Python、创建 venv 虚拟环境及使用 pip 管理依赖。包含可复制命令、验证方法及工具选择边界,避免常见配置误区。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。