jsoup爬虫 基础知识整理：新手先看这篇

什么是jsoup？

jsoup是一个用于处理实际世界HTML的Ja va库。它提供了一套非常便捷的API，能够通过DOM、CSS选择器以及类似jQuery的操作方法来提取和操作数据。其核心功能包括解析HTML、从URL、文件或字符串中抓取数据，并能清理和操作HTML元素。对于需要进行网页数据抓取（Web Scraping）或数据提取的Ja va开发者而言，jsoup因其简单易用而成为热门选择。它完美地处理了包括混乱标签和未闭合标签在内的各种HTML文档，使得从网页中获取结构化信息变得直接。

获取与解析HTML文档

使用jsoup的第一步是获取一个HTML文档对象。最常见的方式是从一个URL直接连接并解析。通过Jsoup.connect(String url).get()方法，可以方便地获取远程网页的HTML内容，并得到一个代表整个文档的Document对象。除了从网络加载，jsoup也支持从本地HTML字符串或文件进行解析，这为测试或处理离线数据提供了灵活性。在解析过程中，jsoup会构建一个完整的文档对象模型（DOM）树，将HTML标签、属性、文本内容都转化为可编程访问的节点，为后续的数据提取奠定基础。

使用DOM方法与CSS选择器提取数据

获得Document对象后，就可以从中提取所需的数据。jsoup提供了两种主流方式。一种是使用传统的DOM方法，例如通过getElementById、getElementsByTag或getElementsByClass来定位元素。另一种更强大且简洁的方式是使用CSS选择器，其语法与前端开发中使用的CSS选择器完全一致。通过select(String cssQuery)方法，可以非常精准地定位元素，例如select(“div.content a”)会选择所有在class为content的div元素内部的链接。选择器返回的是一个Elements集合，可以进一步遍历或获取其属性、文本。

操作HTML元素与属性

jsoup不仅能解析和提取数据，还能对HTML元素进行增删改查操作。你可以轻松地获取、设置或移除元素的属性，比如使用attr(String key)获取属性值，或用attr(String key, String value)进行设置。对于元素的文本内容，text()方法会返回所有子文本的拼接，而html()方法则返回元素内部的HTML代码。此外，jsoup允许你创建新的元素并将其插入到DOM树中的指定位置，或者复制、删除现有的元素。这些功能使得jsoup也能用于动态生成或清理HTML内容。

处理链接与相对路径

在解析网页时，经常会遇到相对路径的链接或资源。jsoup提供了智能的方法来处理这个问题。当从一个URL解析文档时，你可以使用absUrl(String attributeKey)方法将指定属性（如“href”、“src”）中的相对URL转换为绝对URL。这确保了在后续处理中，链接地址是完整且可用的，避免了因路径问题导致的数据缺失。这个特性在进行深度爬取或需要下载关联资源时尤为重要，它简化了路径解析的复杂性，让开发者能更专注于核心的数据抓取逻辑。