AI驱动的生产式主机自动化测试

译者 | 陈峻

审校 | 重楼

将传统大型主机应用的代码和数据迁移到现代化技术架构上，被认为是企业数字化发展的关键步骤。在追求效率和可扩展性的过程中，这种转变通常涉及从传统大型主机环境迁移到更灵活的云计算或内部部署方案中。这样的转型有助于企业实现更高的灵活性和创新能力，同时降低成本和提高安全性。这种迁移还可以为企业带来更好的资源利用率和更快的市场响应能力。企业需要谨慎计划和执行这一转变，确保数据迁移和应用重构过程顺利进行，以确保业务连续性和数据安全。通过将传统大型主机应用迁移到现代化技术架构上，企业可以更好地适应快速变化的市场需求，实现

不过，随着业务环境的动态变化，也会使得迁移过程变得更加复杂。这不仅仅是技术上的资源重新部署，而且是一种根本性的转变，因此往往需要经历严格的测试，以确保各项功能的等效，进而保持应用在运行上的完整性和性能上的标准化。

同时，在迁移之后，应用程序经常会在新的要求、业务战略的演变、以及监管标准变化的驱动下，被迫进行大量的修改。而每一次修改，无论是微小的调整、还是重大的“翻修”，都必须经过严密的测试。其中最关键的挑战就在于，如何确保新的变化能够与现有的功能和谐集成，而不会造成意想不到的后果或中断。可见，验证新功能和保留现有功能的双重要求，凸显了在迁移后自动化测试套件的重要性。

近年来，生成式AI（GenAI）的广泛应用，已辐射到了各个领域。如果将其引入大型主机的现代化过程，不但有望让企业在软件质量、运营效率等方面取得显著改善，而且能够带来软件开发和质量保证理念上的根本转变，进而让企业最终获得可观的投资回报。

我将与您讨论如何利用适当的自动化测试方法、工具和最佳实践，确保在技术平稳过渡中维持现代化大型主机应用的固有质量和性能。

传统的手动测试理念

一直以来，大型主机环境并不愿意接受自动化的测试方式。由Compuware和Vanson Bourne联合开展的2019年全球调查显示，仅有7%的受访者为大型主机应用采用了自动化的测试用例，这足以说明业界对此的态度。

手动测试的困境

作为对比，手动测试则是许多企业普遍采用的传统方法。不过，在复杂的大型主机现代化过程中，该方法越来越显得力不从心，而且容易出错。毕竟，测试工程师需要手动验证每个方案和业务规则。这一过程就充满了人为出错的可能性。而且，鉴于许多大型主机应用的高风险性和关键任务性特点，我们一旦在测试过程中忽略了某个细微的错误，则可能会导致严重的生产问题、大量的停机时间、乃至经济损失。因此，该缺点会变得尤为突出。此外，人工测试还存在着如下缺陷：

1. 遗漏与不准确：手动处理大量测试用例，会增加遗漏关键场景、以及数据验证不准确的风险。

2. 耗时性：手动方法需要大量时间对每个方面进行彻底测试，因此在快节奏的开发环境中效率不高。

3. 可扩展性问题：随着应用程序的扩展和演进，人工测试所需的工作量会成倍增加，更无法有效地识别错误。

有的企业可能会直观地想到扩大人工测试团队。不过，这并非一个可行的解决方案。此举既会导致成本效率的低下，又无法解决人工测试流程的固有局限性。企业需要通过DevOps等现代方法，来整合自动化测试流程，以提高效率并减少错误。

测试自动化的必要性

总的说来，通过在现代化大型主机应用程序中集成自动化测试流程，企业可以大幅提高迁移的效率和准确性。当然，大型主机环境中自动化测试的采用率并不高。有的企业认为这是挑战，但也有的企业视之为巨大的转型机遇。毕竟，在测试中采用自动化不仅仅是一种技术升级，更是一种降低风险、节省时间和优化资源利用的战略举措。

对于希望在快速发展的技术环境中，保持竞争力和效率的企业来说，这一转变至关重要。根据《DevOps状态报告》显示，自动化测试在优化操作工作流程和确保应用程序可靠性等方面，能够发挥巨大的作用。

什么是自动化测试？

根据Atlassian的定义，自动化测试是通过运用软件工具，自动完成那些由人工驱动的软件产品的审查和验证过程。其速度、效率和精度，都超越了传统人工测试方法的局限性。也就是说，自动化测试有助于在加快应用变化的同时，确保其质量和可靠性不受影响。自动化测试不仅能够简化新变化的验证过程，也可以监控现有功能的完整性，从而在现代化应用的无缝过渡和持续维护方面发挥关键性作用。

在追求优化软件测试流程的过程中，采用自动化测试往往需要初始的人工投入，会涉及到测试工程师对于应用程序底层错综复杂的业务逻辑的理解。这种理解对于使用Selenium等框架有效地生成自动化测试用例是至关重要的。该阶段虽然会耗费大量人力，却是一项基础性工作。毕竟后续的自动化测试将大幅减少测试本身对于人工的依赖，尤其是在重复和广泛的测试场景中。而且，自动化框架一旦被建立，就会成为对应用程序进行持续评估的强大机制。其优势在于，它善于识别因应用更改而可能出现的错误或bug。

大型主机现代化过程中的自动化测试方法

在软件工程领域，针对大规模的迁移或现代化大型主机应用程序的自动化测试，往往需要全面了解应用程序中的所有业务规则，以便为通常由数百万行代码组成的庞大代码库，生成自动化的测试用例。这是一项复杂而又相当艰巨的任务。鉴于难以实现100%的代码覆盖率，我们需要在测试覆盖深度与实际可行性之间实现平衡，以确保关键性的业务逻辑，能够得到充分的测试覆盖。

在这种情况下，GenAI等新兴技术提供了一种可能性。它能够自动生成自动化测试脚本，以简化大型主机现代化项目的测试流程，为软件开发中的质量保证提供一种更高效、更准确、更可扩展的方法。

GenAI的广泛利用

在深入研究GenAI如何在大型主机现代化中实现自动化测试之前，让我们简单了解一下GenAI。从根本上说，GenAI代表了人工智能的一个方面。它通过生成式模型，来生成各种文本、图像或其他媒介。这些生成式人工智能模型善于学习输入训练数据的模式和结构元素，进而生成能够反映这些特征的新数据。显然，此类系统主要依赖机器学习模型，尤其是深度学习领域的模型。

自然语言生成（Natural Language Generation，NLG）是与大型主机现代化强相关的一种GenAI形式。它能够在大语言模型（large language models，LLM）的支持下，产生出类似人类的文本。通常，LLM在大量文本数据的语料库中接受训练，使之能够辨别和复制语言的细微差别和结构。因此，这种训练使得它们能够执行各种自然语言处理任务，包括：文本生成、翻译摘要、以及情感分析等。值得注意的是，LLM还能够熟练地生成准确的计算机程序代码。

目前，大语言模型的著名用例包括：GPT-3（Generative Pre-trained Transformer 3）、BERT（Bidirectional Encoder Representations from Transformers）和T5（Text-to-Text Transfer Transformer）。这些模型通常建立在深度神经网络的基础上，尤其是那些采用了Transformer架构的模型。因此，它们在处理文本等顺序数据方面，表现出了卓越的功效。大量的训练数据（包括数百万、甚至数十亿的单词或文档）使得这些模型能够全面掌握各种编程语言。它们不仅在生成连贯且与上下文相关的文本方面表现出色，而且在预测语言模式（如完成句子或回答查询）方面也很优秀。

当前，某些大语言模型还可以理解和生成多种语言的文本，从而提高其在全球范围内的实用性，从为聊天机器人和虚拟助手提供“智力”，到支持内容生成、语言翻译与摘要等应用领域，LLM的多功能性都能够带来不俗的表现。

如何使用GenAI生成自动化测试脚本

在软件测试领域，LLM可以帮助我们从应用程序的代码中提取业务逻辑，并将这些规则转化为人类可读的格式，进而生成相应的自动化测试脚本。同时，它也能够帮助我们遴选出必要数量的测试用例，以满足代码片段的各种潜在覆盖率要求。

通常，使用GenAI生成应用程序代码的自动化测试脚本，需要如下结构化的三步流程：

1. 使用GenAI提取业务规则：作为初始阶段，我们需要使用GenAI从应用程序中提炼业务规则。该流程会对提炼到的规则按照详细程度进行判定，并以人类可读的格式进行诠释。此外，GenAI也有助于全面了解给定代码段的所有潜在结果。这些知识对于确保创建准确、相关的测试脚本是至关重要的。

2. 利用GenAI在功能层面生成自动化测试脚本：根据提取到的业务逻辑，测试工程师能够对应用程序的功能拥有全面的了解，以便在功能层面上利用GenAI来开发测试脚本。该步骤涉及到确定所需的测试脚本数量，并识别可能被排除在外的场景。当然，此类自动化测试脚本的代码覆盖范围，往往是由团队集体决定的。

3. 由主题专家（Subject Matter Experts，SME）进行验证和推理添加：在最后阶段，一旦提取了业务逻辑，并生成了相应的自动化测试脚本，测试专家就会验证这些脚本，并有权进行添加、修改或删除等操作。此类干预解决了GenAI输出可能产生的潜在概率错误，并提高了自动化测试脚本的质量确定性。

上述过程看似复杂，实际上却能充分利用GenAI的能力，以简化测试脚本生成的流程，并确保自动化的效率与人类专业知识的完美结合。其中，测试人员在验证阶段的参与尤为重要。这会让人工智能生成的输出结果，能够建立在实际、真实的应用知识之上，从而显著提高测试脚本的可靠性和适用性。

小结

综上所述，作为一种提高效率的工具，GenAI可以通过其NLG能力生成自动化测试脚本，进而提高大型主机现代化的软件测试过程的准确性和可靠性。同时，GenAI需要通过结构化的三步流程，来完善AI生成的输出结果，并确保自动化脚本不仅在技术上合理，而且在实践中适用，从而体现AI能力与人类专业知识的和谐统一。而这种融合对于解决现代化大型主机应用程序的复杂性和动态要求，显然是至关重要的。

译者介绍

陈峻（Julian Chen），51CTO社区编辑，具有十多年的IT项目实施经验，善于对内外部资源与风险实施管控，专注传播网络与信息安全知识与经验。

原文标题：GenAI-Driven Automation Testing in Mainframe Modernization，作者：sampath amatam)