小模型大作为：TinyLlama、LiteLlama在性能上异军突起
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
当前，研究者开始关注小巧且高性能的小模型，尽管大家都在研究参数规模达到百亿甚至千亿级别的大模型。小模型在边缘设备上有广泛应用，如智能手机、物联网设备和嵌入式系统。这些设备通常计算能力和存储空间有限，无法有效运行大型语言模型。因此，研究小型模型变得尤为重要。接下来我们要介绍的这两项研究，可能满足你对小模型的需求。TinyLlama-1.1B新加坡科技设计大学（SUTD）的研究者最近发布了TinyLlama，这是一个参数量为11亿的语言模型，经过在大约3万亿个token上的预训练。论文地址：https://a
当前，研究者开始关注小巧且高性能的小模型，尽管大家都在研究参数规模达到百亿甚至千亿级别的大模型。
小模型在边缘设备上有广泛应用，如智能手机、物联网设备和嵌入式系统。这些设备通常计算能力和存储空间有限，无法有效运行大型语言模型。因此，研究小型模型变得尤为重要。
接下来我们要介绍的这两项研究，可能满足你对小模型的需求。
TinyLlama-1.1B
新加坡科技设计大学（SUTD）的研究者最近发布了TinyLlama，这是一个参数量为11亿的语言模型，经过在大约3万亿个token上的预训练。
- 论文地址：https://arxiv.org/pdf/2401.02385.pdf
- 项目地址：https://github.com/jzhang38/TinyLlama/blob/main/README_zh-CN.md
TinyLlama是基于Llama 2架构和分词器的，这使得它可以轻松地与许多使用Llama的开源项目集成。此外，TinyLlama只有11亿个参数，体积小巧，非常适合那些需要限制计算和内存占用的应用程序。
该研究表示仅需 16 块 A100-40G 的 GPU，便可在 90 天内完成 TinyLlama 的训练。
该项目从上线开始，持续受到关注，目前星标量达到 4.7K。
TinyLlama 模型架构详细信息如下所示：
训练细节如下：
研究者表示，这项研究旨在挖掘使用较大数据集训练较小模型的潜力。他们重点探究在用远大于扩展定律（scaling law）建议的 token 数量进行训练时，较小模型的行为表现。
具体来说，该研究使用大约 3 万亿个 token 训练具有 1.1B 个参数的 Transformer （仅解码器）模型。据了解，这是第一次尝试使用如此大量的数据来训练具有 1B 参数的模型。
尽管规模相对较小，但 TinyLlama 在一系列下游任务中表现相当出色，它的性能显著优于同等大小的现有开源语言模型。具体来说，TinyLlama 在各种下游任务中都超越了 OPT-1.3B 和 Pythia1.4B 。
此外，TinyLlama 还用到了各种优化方法，如 flash attention 2、FSDP（ Fully Sharded Data Parallel ）、 xFormers 等。
在这些技术的加持下，TinyLlama 训练吞吐量达到了每 A100-40G GPU 每秒 24000 个 token。例如，TinyLlama-1.1B 模型对于 300B token 仅需要 3,456 A100 GPU 小时，而 Pythia 为 4,830 小时，MPT 为 7,920 小时。这显示了该研究优化的有效性以及在大规模模型训练中节省大量时间和资源的潜力。
TinyLlama 实现了 24k tokens / 秒 / A100 的训练速度，这个速度好比用户可以在 8 个 A100 上用 32 小时训练一个具有 11 亿参数、220 亿 token 的 chinchilla-optimial 的模型。同时，这些优化也大大减少了显存占用，用户可以把 11 亿参数的模型塞入 40GB 的 GPU 里面还能同时维持 16k tokens 的 per-gpu batch size。只需要把 batch size 改小一点， 你就可以在 RTX 3090/4090 上面训练 TinyLlama。
实验中，该研究主要关注具有纯解码器架构的语言模型，包含大约 10 亿个参数。具体来说，该研究将 TinyLlama 与 OPT-1.3B、Pythia-1.0B 和 Pythia-1.4B 进行了比较。
TinyLlama 在常识推理任务上的性能如下所示，可以看出 TinyLlama 在许多任务上都优于基线，并获得了最高的平均分数。
此外，研究者在预训练期间跟踪了 TinyLlama 在常识推理基准上的准确率，如图 2 所示，TinyLlama 的性能随着计算资源的增加而提高，在大多数基准中超过了 Pythia-1.4B 的准确率。
表 3 表明，与现有模型相比，TinyLlama 表现出了更好的问题解决能力。
手快的网友已经开始整活了：运行效果出奇得好，在 GTX3060 上运行，能以 136 tok / 秒的速度运行。
「确实是快！」
小模型 LiteLlama
由于 TinyLlama 的发布，SLM（小型语言模型）开始引起广泛关注。德克萨斯工农大学的 Xiaotian Han 发布了 SLM-LiteLlama。它有 460M 参数，由 1T token 进行训练。这是对 Meta AI 的 LLaMa 2 的开源复刻版本，但模型规模显著缩小。
项目地址：https://huggingface.co/ahxt/LiteLlama-460M-1T
LiteLlama-460M-1T 在 RedPajama 数据集上进行训练，并使用 GPT2Tokenizer 对文本进行 token 化。作者在 MMLU 任务上对该模型进行评估，结果如下图所示，在参数量大幅减少的情况下，LiteLlama-460M-1T 仍能取得与其他模型相媲美或更好的成绩。
以下为该模型的性能表现，更详细内容请参阅：
https://huggingface.co/datasets/open-llm-leaderboard/details_ahxt__llama2_xs_460M_experimental
面对规模大幅缩小的 LiteLlama，有网友好奇，它是否能够在 4GB 的内存上运行。如果你也想知道，不如亲自试试看吧。
码上飞电脑版可把https://www.codeflying.net/保存为Chrome书签，通过书签栏或管理器直接访问。本文演示添加书签、文件夹与单项管理，并说明起始页面的可选设置、旧链接检查和登录限制，避免把访问快捷方式误认为自动登录。
码上飞登录反复失效时，先确认账号验证完成，并检查浏览器是否限制网站数据或退出时自动删除。本文按第三方Cookie、站点例外、设备端数据和单站清理的顺序排查，说明清理会退出账号及删除离线数据，适用于电脑Chrome。
码上飞网页空白先检查网址、网络和刷新结果，再依次核对Chrome的JavaScript、站点权限与扩展拦截。本文给出当前中文设置路径、仅为官网设例外的方法，以及图片缺失和浏览器版本检查，避免一开始就清除全部数据或重置浏览器。
码上飞帮助文档可从官网顶部或首页底部的帮助文档进入，官方链接指向码上飞帮助中心。本文说明如何按新手入门、常见问题及部署相关主题定位内容，区分文档平台登录与码上飞账号，并提供入口打不开时的处理方法。
码上飞我的权益位于工作区侧栏，个人额度需在正确账号下查看；首页定价用于对比公开会员方案。本文区分会员能力、积分与邀请奖励，说明如何查看奖励记录及有效期，避免把公开套餐、默认数字或邀请列表当作本人权益已到账。
码上飞账号设置与账单从工作区侧栏的设置和账单进入，账单、API服务与积分明细用途不同。本文说明如何核对本人身份、识别公开页面的默认显示，以及查看明细时应注意的字段，避免把空记录或默认积分当成真实账户结果。
码上飞我的应用位于工作区侧栏，进入后可按全部、已发布、未发布筛选，并通过搜索应用查找项目。本文说明空列表的判断顺序、账号核对和筛选恢复方法，避免把未登录或筛选无结果误认为项目删除，适用于电脑网页。
码上飞创建新应用可从工作区侧栏进入创建新应用，在需求框写清目标、使用者、数据和主要操作，再检查账号与额度后点击立即开发。本文说明如何组织首轮需求、区分新建与继续已有项目，以及未登录或按钮不可用时的处理。
码上飞应用广场可从官网/my-home进入，先按用途选择分类，再用应用名称或功能关键词搜索。本文说明个人工具、企业服务、记账类结果和无结果状态的区别，以及预览、复制与个人应用归属的边界，适用于电脑网页端。
码上飞邮箱注册从官网/register进入，填写本人邮箱、符合要求的密码和确认密码后，按继续进入后续验证。本文核对当前密码长度与组合条件，说明首次验证的完成判断、与手机号登录的区别，以及表单不能继续时的检查方法。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
