HtmlUnit 中 Promise 未定义解决方法

当在 HtmlUnit 中遇到 "Promise" 未定义错误时，通常是由于所使用的 HtmlUnit 版本过旧，其内置的 JavaScript 引擎不支持现代 Web 页面中广泛使用的 `Promise` 等异步特性。解决此问题的核心在于将 HtmlUnit 升级到最新版本，以获取对新 JavaScript 标准的全面支持，从而确保与当前网页内容的兼容性。

理解 'Promise' 未定义错误

Promise 是 ECMAScript 6 (ES6) 引入的一项重要特性，用于处理异步操作。它代表一个异步操作的最终完成（或失败）及其结果值。现代网页，尤其是那些依赖复杂前端框架（如 React, Vue, Angular）或大量异步数据加载的页面，普遍使用 Promise 来管理回调地狱（callback hell）并提升代码可读性。

当 HtmlUnit 运行时抛出 ReferenceError: "Promise" is not defined 异常时，这表明 HtmlUnit 内部的 JavaScript 引擎（通常是 Rhino）版本过低，无法识别或执行包含 Promise 对象的 JavaScript 代码。尽管旧版本的 HtmlUnit 在过去可能运行良好，但随着 Web 技术的发展，网站会不断更新其前端脚本以利用新的语言特性和API，从而导致旧版 HtmlUnit 无法正确解析和执行这些脚本。

HtmlUnit 对 JavaScript 的支持

HtmlUnit 作为一个无头浏览器，其核心功能之一是模拟浏览器环境来执行网页中的 JavaScript。它通过集成一个 JavaScript 引擎来实现这一点。为了跟上 Web 标准的步伐，HtmlUnit 团队会定期更新其内置的 JavaScript 引擎，以支持更现代的 ECMAScript 特性。

因此，解决此类 JavaScript 相关的 ReferenceError 最直接有效的方法就是升级 HtmlUnit 库。新版本的 HtmlUnit 通常会集成更新的 JavaScript 引擎，从而提供对 Promise、async/await 等现代 JavaScript 特性的支持。

解决方案：升级 HtmlUnit

要解决 "Promise" 未定义错误，强烈建议将您的 HtmlUnit 依赖升级到最新稳定版本。这不仅能解决 Promise 问题，还能带来其他 JavaScript 特性支持、错误修复和性能改进。

示例：Gradle 依赖升级

如果您在 Android 项目中使用 Gradle，您需要更新 build.gradle 文件中的依赖声明。

旧版本依赖（可能导致问题）：

dependencies {
    implementation 'net.sourceforge.htmlunit:htmlunit:2.15' // 旧版本
}

升级到最新稳定版本：

首先，访问 HtmlUnit 的 Maven Central 页面（或其官方网站）查找最新的稳定版本号。例如，如果最新版本是 3.x.x，则更新您的 build.gradle 如下：

dependencies {
    implementation 'net.sourceforge.htmlunit:htmlunit:3.x.x' // 替换为实际的最新版本号
}

更新 WebClient 初始化

升级 HtmlUnit 后，您的 WebClient 初始化代码可能需要微调，但核心逻辑通常保持不变。重要的是选择一个更现代的 BrowserVersion 来模拟最新的浏览器行为。

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

import java.io.IOException;
import java.util.logging.Level;
import java.util.logging.Logger;

public class HtmlUnitExample {

    private final static String LOGIN_URL = "https://sso.pokemon.com/sso/login?locale=en&service=https://www.pokemon.com/us/pokemon-trainer-club/caslogin";

    public static void main(String[] args) {
        // 关闭HtmlUnit和Apache HTTP Client的日志，避免控制台输出过多信息
        Logger.getLogger("com.gargoylesoftware.htmlunit").setLevel(Level.OFF);
        Logger.getLogger("org.apache.http").setLevel(Level.OFF);

        // 使用 try-with-resources 确保 WebClient 正确关闭
        try (final WebClient webClient = new WebClient(BrowserVersion.EDGE)) { // 推荐使用更现代的浏览器版本，如 BrowserVersion.EDGE, BrowserVersion.CHROME
            // 启用JavaScript支持
            webClient.getOptions().setJavaScriptEnabled(true);
            // 忽略SSL证书错误 (根据需要设置，生产环境不推荐)
            webClient.getOptions().setSSLClientCertificateVerificationEnabled(false);
            // 禁用CSS解析，如果不需要样式信息可以提高性能
            webClient.getOptions().setCssEnabled(false);
            // 启用或禁用重定向
            webClient.getOptions().setRedirectEnabled(true);
            // 设置超时时间
            webClient.getOptions().setTimeout(10000); // 10秒

            System.out.println("尝试加载页面: " + LOGIN_URL);
            final HtmlPage page = webClient.getPage(LOGIN_URL);
            System.out.println("页面标题: " + page.getTitleText());

            // 进一步操作页面，例如填写表单、点击链接等
            // ...

        } catch (IOException e) {
            System.err.println("加载页面时发生IO错误: " + e.getMessage());
            e.printStackTrace();
        } catch (Exception e) {
            System.err.println("发生其他错误: " + e.getMessage());
            e.printStackTrace();
        }
    }
}

请注意，BrowserVersion.FIREFOX_24 是一个非常旧的 Firefox 版本，其 JavaScript 引擎必然不支持 Promise。升级 HtmlUnit 后，应选择 BrowserVersion.LATEST_ESR (最新长期支持版) 或 BrowserVersion.CHROME / BrowserVersion.EDGE 等更现代的浏览器版本，以获得最佳的 JavaScript 兼容性。

重要注意事项

1. 持续更新的必要性： 互联网上的网页内容和技术栈在不断演进。即使是最新版本的 HtmlUnit，也可能在未来某个时间点因网站更新而遇到新的兼容性问题。因此，定期检查并更新 HtmlUnit 库是一个良好的实践。
2. 浏览器版本模拟： 在 WebClient 构造函数中选择合适的 BrowserVersion 至关重要。一个现代的 BrowserVersion 会指示 HtmlUnit 模拟更强大的 JavaScript 引擎和更广泛的 Web API 支持。
3. JavaScript 错误处理： 即使升级了 HtmlUnit，某些复杂的 JavaScript 逻辑仍可能无法完美模拟。在实际应用中，您可能需要配置 HtmlUnit 的 JavaScript 错误处理选项，例如 webClient.getOptions().setThrowExceptionOnScriptError(false); 来避免因次要脚本错误导致程序中断。
4. 性能考量： 启用 JavaScript 和 CSS 解析会增加内存和CPU开销。如果您的应用不需要完整的页面渲染或交互，可以考虑禁用不必要的功能（如 webClient.getOptions().setCssEnabled(false);）。
5. 日志配置： HtmlUnit 会产生大量日志输出。如示例所示，通过配置 java.util.logging.Logger 可以有效地控制日志级别，减少不必要的控制台输出。

总结

ReferenceError: "Promise" is not defined 错误是使用过时 HtmlUnit 版本处理现代网页时常见的 JavaScript 兼容性问题。解决此问题的关键在于将 HtmlUnit 库升级到最新稳定版本，并配置 WebClient 以模拟一个支持现代 JavaScript 特性的浏览器。通过保持库的更新和适当的配置，您可以确保 HtmlUnit 能够更有效地模拟真实浏览器行为，从而成功抓取或测试依赖复杂 JavaScript 的网页。