首页 精品内容 本月促销 HOT 装机必备 HOT Windows macOS软件 IOS软件 Android AI PDF教程 专题

当前位置：

首页 > 业界资讯 > ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

作者：暮色微凉 时间：2024-06-04 来源：互联网 浏览：0

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com在大型语言模型的训练过程中，数据的处理方式至关重要。传统的方法通常通过将大量文档拼接并切分成等同于模型的上下文长度的训练序列。这虽然提高了训练效率，但也常导致文档的不必要截断，损害数据完

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

在大型语言模型的训练过程中，数据的处理方式至关重要。

传统的方法通常通过将大量文档拼接并切分成等同于模型的上下文长度的训练序列。这虽然提高了训练效率，但也常导致文档的不必要截断，损害数据完整性，导致关键的上下文信息丢失，进而影响模型学习到的内容的逻辑连贯性和事实一致性，并使模型更容易产生幻觉。

AWS AI Labs 的研究人员针对这一常见的拼接-分块文本处理方式进行了深入研究， 发现其严重影响了模型理解上下文连贯性和事实一致性的能力。这不仅影响了模型在下游任务的表现，还增加了产生幻觉的风险。

针对这一问题，他们提出了一种创新的文档处理策略——最佳适配打包 （Best-fit Packing），通过优化文档组合来消除不必要的文本截断，并显著地提升了模型的性能且减少模型幻觉。这一研究已被ICML 2024接收。

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

文章标题：Fewer Truncations Improve Language Modeling
论文链接：https://arxiv.org/pdf/2404.10830

研究背景

在传统的大型语言模型训练方法中，为了提高效率，研究人员通常会将多个输入文档拼接在一起，然后将这些拼接的文档分割成固定长度的序列。

这种方法虽然简单高效，但它会造成一个重大问题——文档截断（document truncation），损害了数据完整性（data integrity）。文档截断会导致文档包含的信息丢失 （loss of information）。

此外，文档截断减少了每个序列中的上下文量，可能导致下一个词的预测与上文不相关，从而使模型更容易产生幻觉 （hallucination）。

以下的例子展示了文档截断带来的问题：

  • 图2（a）：在Python编程中，原始代码虽然正确，但将变量定义与使用分割到不同的训练序列中会引入语法错误，导致某些变量在后续训练序列中未定义，从而使得模型学习到错误的模式，并可能在下游任务中产生幻觉。例如，在程序合成任务中，模型可能会在没有定义的情况下直接使用变量。
  • 图2（b）：截断同样损害了信息的完整性。例如，摘要中的“Monday morning”无法与训练序列中的任何上下文匹配，导致内容失实。这种信息不完整性会显著降低模型对上下文信息的敏感度，导致生成的内容与实际情况不符，即所谓的不忠实生成 （unfaithful generation）。
  • 图2（c）：截断还会阻碍训练期间的知识获取，因为知识在文本中的表现形式通常依赖完整的句子或段落。例如，模型无法学习到ICML会议的地点，因为会议名称和地点分布在不同的训练序列中。
ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

图2. 文档截断导致幻觉或知识丧失的例子。 (a) 变量定义（蓝色部分）被截断，随后的使用调用导致未定义名称（红色部分）。 (b) 关键上下文信息被截断（蓝色部分），使得摘要不准确于原文（红色部分）。 (c) 由于截断，模型不知道ICML 2024的举办地点。

最佳适配打包

针对这一问题，研究者提出了最佳适配打包 （Best-fit Packing）。

该方法使用长度感知的组合优化技术，有效地将文档打包到训练序列中，从而完全消除不必要的截断。这不仅保持了传统方法的训练效率，而且通过减少数据的片段化，实质性地提高了模型训练的质量。

作者首先先将每个文本分割成一或多个至多长为模型上下文长度L的序列。这一步限制来自于模型，所以是必须进行的。

现在，基于大量的至多长为L的文件块，研究者希望将它们合理地组合，并获得尽量少的训练序列。这个问题可以被看作一个集装优化（Bin Packing）问题。集装优化问题是NP-hard的。如下图算法所示，这里他们采用了最佳适配递减算法（Best-Fit-Decreasing, BFD） 的启发式策略。

接下来从时间复杂度 （Time Complexity） 和紧凑性 （Compactness） 的角度来讨论BFD的可行性。

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

时间复杂度：

BFD的排序和打包的时间复杂度均为O（N log N），其中N是文档块的数量。在预训练数据处理中，由于文档块的长度是整数并且是有限的 （[1, L]），可以使用计数排序 （count sort） 来实现将排序的时间复杂度降低到O（N）。

在打包阶段，通过使用段树（Segment Tree）的数据结构，使得每次寻找最佳适配容器的操作只需对数时间，即O（log L）。又因为L<

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

紧凑性 ：

紧凑性是衡量打包算法效果的另一个重要指标，在不破坏原文档完整性的同时需要尽可能减少训练序列的数量以提高模型训练的效率。

在实际应用中，通过精确控制序列的填充和排布，最佳适配打包能够生成几乎与传统方法相当数量的训练序列，同时显著减少了因截断而造成的数据损失。

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

基于在自然语言（RefinedWeb） 和编程语言（The Stack） 数据集上的实验，我们发现最佳适配打包显著降低了文本截断。

值得注意的是，大多数文档包含的token数少于2048个；由于传统拼接-分块时造成的截断主要发生在这一范围内，而最佳适配打包不会截断任何长度低于L的文档，由此有效地保持了绝大多数文档的完整性。

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

图4:当最大序列长度设置为2k或8k时，在不同文档长度下,每个文档长度对应的文档数量和截断数量。使用“最佳适应打包”（Best-fit Packing）技术后，截断数量明显减少。上方：自然语言。下方：编程语言。

实验与结果

研究人员详细报告了使用最佳适配打包与传统方法（即拼接方法）训练的语言模型在不同任务上的表现对比，包括：自然语言处理和编程语言任务，如阅读理解 （Reading Comprehension）、自然语言推理 （Natural Language Inference）、上下文跟随 （Context Following）、文本摘要 （Summarization）、世界知识 （Commonsense and Closed-book QA） 和程序合成 （Program Synthesis），总计22个子任务。

实验涉及的模型大小从70亿到130亿参数不等，序列长度从2千到8千令牌，数据集涵盖自然语言和编程语言。这些模型被训练在大规模的数据集上，如Falcon RefinedWeb和The Stack，并使用LLaMA架构进行实验。

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

实验结果表明，使用最佳适配打包在在一系列任务中提升了模型性能，尤其是在阅读理解 （+4.7%）、自然语言推理 （+9.3%）、上下文跟随 （+16.8%） 和程序合成 （+15.0%） 等任务中表现显著（由于不同任务的度量标准的规模各异，作者默认使用相对改进来描述结果。） 

经过统计检验，研究者发现所有结果要么统计显著地优于基线（标记为s），要么与基线持平（标记为n），且在所有评测的任务中，使用最佳适配打包均未观察到性能显著下降。

这一一致性和单调性的提升突显了最佳适配打包不仅能提升模型的整体表现，还能保证在不同任务和条件下的稳定性。详细的结果和讨论请参考正文。

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

作者们重点研究了最佳适配打包对幻觉的影响。

在摘要生成中，使用QAFactEval度量发现采用最佳适配打包的模型在生成幻觉方面有显著降低。

更为显著的是，在程序合成任务中，使用最佳适配打包训练的模型生成代码时，“未定义名称”（Undefined Name）的错误减少了高达58.3%，这表明模型对程序结构和逻辑的理解更为完整，从而有效减少了幻觉现象。

作者们还揭示了模型在处理不同类型知识时的表现差异。

如前所述，训练过程中的截断可能影响信息的完整性，从而妨碍知识的获取。但大多数标准评估集中的问题侧重于常见知识 （common knowledge），这类知识在人类语言中频繁出现。因此即使部分知识因截断而丢失，模型仍有很好的机会从文档片段中学习到这些信息。

相比之下，不常见的尾部知识（tail knowledge）更容易受到截断的影响，因为这类信息在训练数据中出现的频率本身就低，模型难以从其他来源补充丢失的知识。

通过对ARC-C和ARC-E两个测试集的结果分析，研究者发现，相较于含有更多常见知识的ARC-E，使用最佳适配打包会使模型在含有更多尾部知识的ARC-C中有更显著的性能提升。

通过计算每对问题-答案组合在 Kandpal et al. （2023） 预处理的Wikipedia实体映射中的共现次数，这一发现得到了进一步验证。统计结果显示，挑战集（ARC-C）包含了更多罕见共现的对，这验证最佳适配打包能有效支持尾部知识学习的假设，也为为何传统的大型语言模型在学习长尾知识时会遇到困难提供了一种解释。

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

总结

本文提出了大型语言模型训练中普遍存在的文档截断问题。

这种截断效应影响了模型学习到逻辑连贯性和事实一致性，并增加了生成过程中的幻觉现象。作者们提出了最佳适配打包（Best-fit Packing），通过优化数据整理过程，最大限度地保留了每个文档的完整性。这一方法不仅适用于处理数十亿文档的大规模数据集，而且在数据紧凑性方面与传统方法持平。 

实验结果显示，该方法在减少不必要的截断方面极为有效，能够显著提升模型在各种文本和代码任务中的表现，同时有效减少封闭域的语言生成幻觉。尽管本文的实验主要集中在预训练阶段，最佳适配打包也可广泛应用于其他如微调阶段。这项工作为开发更高效、更可靠的语言模型做出了贡献，推动了语言模型训练技术的发展。

有关更多研究细节，请参阅原始论文。如果有意向工作或实习，可邮件联系本文作者 zijwan@amazon.com.
本文内容来源于互联网，如有侵权请联系删除。
作者最新文章
业界资讯
相关文章 更多
Siri等明年！苹果WWDC25给AI交底：画小饼，继续熬
Siri等明年！苹果WWDC25给AI交底：画小饼，继续熬

不求速胜，熬吧。

2025-06-10 0 BlueNight
业界资讯
比特现金未来：可扩展性与支付潜力
比特现金未来：可扩展性与支付潜力

比特现金（BCH）的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持，比特现金有望在多个领域取得显著发展，成为一种多功能且广泛使用的加密货币。

2025-05-16 0 归人云淡风轻
业界资讯
ACH总量10亿，价值与用途详解
ACH总量10亿，价值与用途详解

ACH 总共发行了 10 亿枚，用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准，采用 PoS 机制，可通过私募、公募和生态系统分配获取，其价值受服务需求、实用性和市场趋势影响，可在币安、火币等交易所购买。

2025-05-15 0 小宇宙叶知秋
业界资讯
Coinbase Pro设置指南：下载、登录与自定义
Coinbase Pro设置指南：下载、登录与自定义

Coinbase Pro 设置步骤：下载并安装软件后，打开并登录，点击右上角齿轮图标进入“首选项”。在首选项中，你可以调整界面、安全、通知、交易和API设置，完成后点击“保存”按钮确认更改。

2025-05-15 0 归人云淡风轻
业界资讯
IoTeX等基础设施如何赋能IoT生态
IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络，确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用，物联网生态系统实现了去中心化、安全、互操作性和自治，充分释放了物联网的潜力。

2025-05-15 0 RiverSoul
业界资讯
DOGE发行价多少
DOGE发行价多少

2025-05-15 0 RainLight
业界资讯
波场etf代码
波场etf代码

2025-05-15 0 BrightSoul
业界资讯
TRX浏览器查询地址
TRX浏览器查询地址

2025-05-15 50 水悠悠予安
业界资讯
ChainLink跑路了吗
ChainLink跑路了吗

2025-05-15 0 RiverSoul
业界资讯
什么叫Toncoin杠杆
什么叫Toncoin杠杆

2025-05-15 0 WarmHope
业界资讯
查看更多
热门文章 更多
Yandex中文入口及登录使用全攻略 B站免费入口永久有效网址推荐 51漫画高清入口及最新章节更新 高德地图开启海拔显示方法 我的世界网页版即点即玩入口推荐 JS金额计算怎么避免四舍五入误差 photoshop智能对象怎么编辑 B站免费入口网站高效连接方法 QQ网页版登录入口大全 QQ网页版官方登录指南 学习通网页登录入口及账号使用教程
精品专题 更多
装机必备
装机必备

正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用，支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然，适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出，适合把安全控制放进长期使用流程中的场景。