XVERSE-Long-256K：全球最长的无条件免费商用开源大模型！

元象发布了全球首个上下文窗口长度256K的开源大模型XVERSE-Long-256K。这个模型支持输入25万汉字，使得大模型应用能够进入“长文本时代”。该模型完全开源，可以无条件免费商用，并且还附带有详细的手把手训练教程，这让海量的中小企业、研究者和开发者能够更早地实现“大模型自由”。

全球主流长文本大模型图谱

参数量和高质量数据量决定了大模型的计算复杂度，而长文本技术（Long Context）是大模型应用发展“杀手锏”，因技术新、研发难度高，目前多为闭源付费提供。

 XVERSE-Long-256K支持超长文本输入，可用于大规模数据分析、多文档阅读理解、跨领域知识融合，有效提升大模型应用的深度与广度：一、为律师、金融分析师或咨询师、prompt 工程师、科研人员等解决分析处理较长文本的工作；二、在角色扮演或聊天应用中，缓解模型“忘记”之前对话的记忆力问题，或胡说八道的“幻觉”问题等；三、更好支持智能体（AI Agent）基于历史信息进行规划和决策；四、帮助AI原生应用保持连贯、个性化的用户体验。

至此，XVERSE-Long-256K填补了开源生态空白，还与元象此前70亿、130亿、650亿参数大模型组成“高性能全家桶”，将国产开源提升至国际一流水平。
元象大模型系列

免费下载元象大模型

• GitHub：https://github.com/xverse-ai/XVERSE-13B
• hugging face：https://huggingface.co/xverse/XVERSE-13B-256K
• 魔搭：https://modelscope.cn/models/xverse/XVERSE-13B-256K
• 问询发送：opensource@xverse.cn

用户可登录大模型官网（chat.xverse.cn）或小程序即刻体验 XVERSE-Long-256K。

 高性能定位评测表现出色
为确保业界对元象大模型有全面、客观和长期的认知，研究人员参考权威行业测评，制定了六个维度的9项综合测评体系。XVERSE-Long-256K 均表现出色，超越其他长文本模型。
 全球主流长文本开源大模型评测结果 

XVERSE-Long-256K 通过了常见的长文本大模型性能压力测试“大海捞针”。该测试在长文本语料中隐藏一个与其内容无关的句子，并通过自然语言提问让大模型准确提取该句子。

长篇小说 阅读理解

目前国内大多数大型模型只支持中英双语，但元象支持40多种语言。我们对16万字符的俄语经典小说《钢铁是怎样炼成的》和41万字符的德语历史传记《人类群星闪耀时》进行了测试。

《钢铁是怎样炼成的（俄文版）》测试 

《人类群星闪耀时（德文版）》测试

法律法条 精准应用

以《中华人民共和国民法典》为例，展示对法律术语的解释，以及对案例进行逻辑分析、结合实际的灵活应用：

《民法典》测试 

手把手教你训练长文本大模型
 

 1.  技术挑战

1. 模型训练：GPU显存的占用与序列长度的平方成正比，使训练量急剧上升。
2. 模型结构：序列越长，模型的attention越分散，模型越容易忘记前序内容。
3. 推理速度：模型序列越长，将大幅度降低模型推理速度。

 2. 元象技术路线
长文本大模型技术是在近一年内发展出来的新技术，其主要技术方案为：

1. 直接进行长序列的预训练，但会导致训练量成平方倍的提升。
2. 通过位置编码的插值或外推拓展序列长度，这种方法会降低位置编码的分辨率，从而降低大模型输出效果。

元象长文本大模型训练流程

第一阶段：ABF+继续预训练

• GitHub：https://github.com/xverse-ai/XVERSE-13B
• hugging face：https://huggingface.co/xverse/XVERSE-13B-256K
• 魔搭：https://modelscope.cn/models/xverse/XVERSE-13B-256K
• 问询发送：opensource@xverse.cn