OpenAI提供新的微调和定制选项

微调在构建有价值的人工智能工具中起着至关重要的作用。这种使用更有针对性的数据集精炼预训练模型的过程可使用户大大增加模型对专业内涵的理解，允许用户为特定任务的模型增加现成知识。

虽然这个过程可能需要时间，但与从头开始训练模型相比，它的成本效益通常要高三倍。这一数值正如OpenAI最近宣布扩展其自定义模型程序以及为其微调API提供各种新功能所反映的那样。

自服务微调API的新特性

OpenAI于2023年8月首次宣布推出针对GPT-3的自助微调API，并受到了AI社区的热烈响应。据OpenAI报告称，成千上万的团体已经利用API来训练成千上万的模型，比如利用特定的编程语言生成代码，将文本总结为特定的格式，或根据用户行为创建个性化的内容。

自从2023年8月开始，工作匹配和招聘平台Indeed取得了重大成功。为了将求职者与相关的空缺职位相匹配，Indeed向用户发送个性化推荐。通过微调GPT 3.5 Turbo以生成更准确的流程解释，并能够将提醒中的令牌数量减少80%。这使得该公司每月发送给求职者的信息从不足100万条增加到大约2000万条。

新微调API特性建立在这个成功的基础上，希望为未来的用户改进功能：

基于epoch的检查点创建：在每个训练epoch自动生成一个完整的微调模型检查点，这减少了后续再训练的需要，特别是在过度拟合的情况下。

Comparity Playground：一个新的并行Playground UI，用于比较模型质量和性能，允许人工评估多个模型的输出或针对单个提示进行微调快照。

第三方集成：支持与第三方平台的集成（从权限重和偏差开始），使开发人员能够将详细的微调数据共享给堆栈的其余部分。

综合验证指标：能够计算整个验证数据集的损失和准确性等指标，从而更好地了解模型质量。

超级参数配置：能够从仪表板配置可用的超级参数(而不仅仅是通过API或SDK)。

微调仪表板改进：包括配置超级参数、查看更详细的训练指标以及从以前的配置中重新运行作业的能力。

基于过去的成功，OpenAI相信这些新功能将使开发人员对他们的微调工作有更细粒度的控制。

辅助微调和定制训练模型

OpenAI还在2023年11月在DevDay上发布的基础上，改进了自定义模型计划。其中一个主要变化是辅助微调的出现，这是一种利用API微调之外的有价值技术的手段，例如在更大范围内添加额外的超级参数和各种参数有效微调(PEFT)方法。

SK电信就是充分发挥这项服务潜力的一个例子。这家电信运营商在韩国拥有超过3000万用户，因此他们希望定制一种可以充当电信客户服务专家的人工智能模型。

通过与OpenAI合作对GPT-4进行微调，使其专注于韩国电信相关的对话，SK电信的对话摘要质量提高了35%，意图识别准确率提高了33%。当将他们的新微调模型与广义GPT-4进行比较时，他们的满意度得分也从3.6提高到4.5(满分5分)。

OpenAI还引入了为需要深度微调的特定领域知识模型的公司构建定制模型的能力。与法律人工智能公司Harvey的合作证明了这一功能的价值。法律工作需要大量阅读密集的文件，Harvey想用LLMs（大型语言模型）从这些文件中综合信息，并将其提交给律师进行审查。然而，许多法律是复杂的，并且依赖于上下文，Harvey希望与OpenAI合作建立一个定制训练的模型，该模型可以将新的知识和推理方法纳入基本模型。

Harvey与OpenAI合作，添加了相当于100亿令牌的数据来定制训练这个判例法模型。通过增加必要的背景深度来做出明智的法律判断，结果模型的事实性回答提高了83%。

人工智能工具从来都不是“包治百病”的解决方案。可定制性是这项技术有用性的核心，OpenAI在微调和定制训练模型方面的工作将有助于扩展已经从该工具中获得的组织。