PHP Simple HTML DOM 抓取乱码解决方法

在使用 PHP Simple HTML DOM 库进行网页抓取时，有时会遇到这样的问题：首次抓取目标网站内容正常，但后续的抓取却返回乱码。这种情况通常发生在目标网站启用了缓存机制，并且使用了 gzip 等压缩方式。 由于 Simple HTML DOM 库本身可能没有正确处理压缩数据，导致解析失败，最终返回乱码。

以下提供一种解决方案，使用 cURL 代替 file_get_contents，并设置 CURLOPT_ACCEPT_ENCODING 选项，告知服务器可以接受的编码方式。

使用 cURL 抓取并处理 gzip 压缩数据

<?php

include('simple_html_dom.php');

$url = "https://www.2311666.com.tw/";

$curl = curl_init();

curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_USERAGENT, 'Chrome/94.0.4606.81');
curl_setopt($curl, CURLOPT_ACCEPT_ENCODING, ""); // 关键：允许接受任何编码
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false); // 建议：关闭 SSL 验证，除非你有有效的证书
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false); // 建议：关闭 SSL 验证，除非你有有效的证书

$html_content = curl_exec($curl);

if (curl_errno($curl)) {
    echo 'cURL error: ' . curl_error($curl);
    exit;
}

curl_close($curl);

$html = new simple_html_dom();
$html->load($html_content);

echo $html;

?>

代码解释：

1. 初始化 cURL: curl_init() 创建一个新的 cURL 资源。
2. 设置 URL: curl_setopt($curl, CURLOPT_URL, $url) 设置要抓取的 URL。
3. 设置返回结果: curl_setopt($curl, CURLOPT_RETURNTRANSFER, true) 设置 cURL 将抓取结果作为字符串返回，而不是直接输出。
4. 设置 User-Agent: curl_setopt($curl, CURLOPT_USERAGENT, 'Chrome/94.0.4606.81') 设置 User-Agent，模拟浏览器行为。
5. 设置 Accept-Encoding: curl_setopt($curl, CURLOPT_ACCEPT_ENCODING, "") 这是解决乱码问题的关键。 它告诉服务器，客户端可以接受任何编码方式，包括 gzip。 服务器通常会根据这个选项选择合适的压缩方式。
6. 关闭 SSL 验证 (可选): curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false) 和 curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false) 用于关闭 SSL 证书验证。 在开发环境中，可以关闭，但在生产环境中，强烈建议开启，并配置正确的证书。
7. 执行 cURL 请求: curl_exec($curl) 执行 cURL 请求，并将结果存储在 $html_content 变量中。
8. 错误处理: curl_errno($curl) 和 curl_error($curl) 用于检查 cURL 请求是否发生错误。
9. 关闭 cURL 资源: curl_close($curl) 释放 cURL 资源。
10. 加载 HTML: $html->load($html_content) 使用 Simple HTML DOM 库加载 HTML 内容。
11. 输出 HTML: echo $html 输出解析后的 HTML 内容。

另一种解决方案：使用 gzdecode() 函数

如果服务器强制使用 gzip 压缩，即使设置了 CURLOPT_ACCEPT_ENCODING，返回的仍然是压缩后的数据，那么可以使用 gzdecode() 函数进行解压缩。

<?php

include('simple_html_dom.php');

$url = "https://www.2311666.com.tw/";

$curl = curl_init();

curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_USERAGENT, 'Chrome/94.0.4606.81');
curl_setopt($curl, CURLOPT_ENCODING, "gzip"); // 告诉服务器接受 gzip 编码
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);

$html_content = curl_exec($curl);

if (curl_errno($curl)) {
    echo 'cURL error: ' . curl_error($curl);
    exit;
}

curl_close($curl);

// 解码 gzip 压缩数据
$html_content = gzdecode($html_content);

$html = new simple_html_dom();
$html->load($html_content);

echo $html;

?>

注意事项：

• gzdecode() 函数需要 PHP 的 zlib 扩展支持。
• 在某些情况下，服务器可能返回 deflate 压缩的数据，此时可以使用 gzinflate() 函数进行解压缩。

总结：

当使用 PHP Simple HTML DOM 库抓取开启缓存的网站出现乱码时，可以尝试以下方法：

1. 使用 cURL 代替 file_get_contents。
2. 设置 curl_setopt($curl, CURLOPT_ACCEPT_ENCODING, "") 或 curl_setopt($curl, CURLOPT_ENCODING, "gzip")。
3. 如果返回的是压缩数据，使用 gzdecode() 或 gzinflate() 函数进行解压缩。

通过以上方法，可以有效地解决 Simple HTML DOM 库抓取开启缓存网站返回乱码的问题，确保能够正确获取和解析网页内容。 另外，请务必尊重网站的 robots.txt 协议，避免过度抓取，以免对服务器造成不必要的负担。