Llama 3低比特量化性能下降显著！全面评估结果来了 | 港大&北航Ð
大模型力大砖飞，让LLaMA3演绎出了新高度：经过超大规模预训练的15T+Token数据上，已实现了令人印象深刻的性能提升，也因远超Chinchilla推荐量再次引爆开源社区讨论。与此同时，在实际应用层面上，另一个热点话题也浮出水面：资源有限场景下，LLaMA3的量化表现又会如何？香港大学、北京航空航天大学、苏黎世联合邦理工学院联合推出了一项实证研究，全面揭示了LLaMA3的低比特量化能力。研究人员使用现有的10种训练后量化的LoRA微调方法，评估了LLaMA3与1-8比特和各种评估数据集上的结果。他们发
大模型力大砖飞，让LLaMA3演绎出了新高度：
经过超大规模预训练的15T+ Token数据上，已实现了令人印象深刻的性能提升，也因远超Chinchilla推荐量再次引爆开源社区讨论。
与此同时，在实际应用层面上，另一个热点话题也浮出水面：
资源有限场景下，LLaMA3的量化表现又会如何？
香港大学、北京航空航天大学、苏黎世联合邦理工学院联合推出了一项实证研究，全面揭示了LLaMA3的低比特量化能力。
研究人员使用现有的10种训练后量化的LoRA微调方法，评估了LLaMA3与1-8比特和各种评估数据集上的结果。他们发现：
尽管性能令人印象深刻，LLaMA3在低比特量化下仍然遭受了不可忽视的退化，特别是在超低位宽上。
项目已在GitHub上开源，量化模型也已登陆HuggingFace。
具体来看实证结果。
轨道1：训练后量化
表1和表2中分别提供了LLaMA3-8B和LLaMA3-70B在8种不同的PTQ方法下的低比特性能表现，覆盖了从1比特到8比特的广泛比特宽度。
1.低比特权重
其中，Round-To-Nearest (RTN) 是一种基本的舍入量化方法。
GPTQ是当前最有效率和有效的仅限权重的量化方法之一，它利用量化中的误差补偿。但在2-3比特下，当量化LLaMA3时，GPTQ会导致严重的准确性崩溃。
AWQ采用异常通道抑制方法来降低权重量化的难度，而QuIP通过优化矩阵计算来确保权重和Hessian之间的不一致性。它们都能保持LLaMA3在3比特时的能力，甚至将2比特量化推向有希望的水平。
2.超低比特权重
最近出现的二值化LLM量化方法实现了超低比特宽度LLM权重压缩。
PB-LLM采用混合精度量化策略，保留一小部分重要权重的全精度，同时将大部分权重量化为1比特。
DB-LLM通过双重二值化权重分割实现高效的LLM压缩，并提出偏差感知蒸馏策略以进一步增强2比特LLM性能。
BiLLM通过显著权重的残差逼近和非显著权重的分组量化，进一步将LLM量化边界推低至1.1比特。这些为超低比特宽度专门设计的LLM量化方法可以实现更高精度的量化LLaMA3-8B，在⩽2比特时远远超过如GPTQ、AWQ和QuIP等方法，在2比特（甚至在某些情况下3比特）下的表现。
3.低比特量化激活
还通过SmoothQuant对量化激活进行了LLaMA3评估，SmoothQuant将量化难度从激活转移到权重，以平滑激活异常值。评估显示，SmoothQuant可以在8比特和6比特的权重和激活下保留LLaMA3的准确性，但在4比特时面临崩溃。
轨道2：LoRA微调量化
在MMLU数据集上，对于LoRA-FT量化下的LLaMA3-8B，最显著的观察是，在Alpaca数据集上低秩微调不仅不能补偿量化引入的错误，甚至使性能下降更加严重。
具体来说，各种LoRA-FT量化方法在4比特下获得的量化LLaMA3性能，比没有使用LoRA-FT的4比特对应版本要差。这与LLaMA1和LLaMA2上的类似现象形成鲜明对比，在LLAMA1和LLAMA2中，4比特低秩微调量化版本甚至能轻松超过MMLU上的原始FP16对应版本。
根据直观分析，这一现象的主要原因是由于LLaMA3强大的性能得益于其大规模的预训练，这意味着原始模型量化后的性能损失不能通过在一小部分低秩参数数据上进行微调来补偿（这可以被视为原始模型的一个子集）。
尽管量化导致的显著下降不能通过微调来补偿，但4比特LoRA-FT量化的LLaMA3-8B在各种量化方法下显著优于LLaMA1-7B和LLaMA2-7B。例如，使用QLoRA方法，4比特LLaMA3-8B的平均准确率为57.0（FP16: 64.8），超过4比特LLaMA1-7B的38.4（FP16: 34.6）18.6，超过4比特LLaMA2-7B的43.9（FP16: 45.5）13.1。这表明在LLaMA3时代需要一种新的LoRA-FT量化范式。
在CommonSenseQA基准测试中也出现了类似的现象。与没有使用LoRA-FT的4比特对应版本相比，使用QLoRA和IR-QLoRA微调的模型性能也有所下降（例如，QLoRA平均下降2.8% vs IR-QLoRA平均下降2.4%）。这进一步展示了在LLaMA3中使用高质量数据集的优势，而且通用数据集Alpaca并没有对模型在其他任务中的性能作出贡献。
结论
这篇论文全面评估了LLaMA3在各种低比特量化技术（包括训练后量化和LoRA微调量化）中的性能。
此研究发现表明，尽管LLaMA3在量化后仍然展现出优越的性能，但与量化相关的性能下降是显著的，甚至在许多情况下可以导致更大的下降。
这一发现突显了在资源受限环境中部署LLaMA3可能面临的潜在挑战，并强调了在低比特量化背景下增长和改进的充足空间。通过解决低比特量化引起的性能下降，预期后续的量化范式将使LLMs在较低的计算成本下实现更强的能力，最终推动代表性的生成式人工智能达到新的高度。
论文链接：https://arxiv.org/abs/2404.14047。
项目链接：https://github.com/Macaronlin/LLaMA3-Quantizationhttps://huggingface.co/LLMQ。
南京邮电大学“光擎智算”团队联合南京大学，攻克GaN基Micro-LED器件技术，成功搭建实验室级光计算验证系统。团队自主研发的5×5 Micro-LED光电计算阵列芯片已进入流片封装阶段，实现了图像识别等算力任务验证，推动光计算技术从理论走向工程落地。
苹果与铠侠签署为期3-5年的NAND闪存长期供应协议，且可能不设价格上限。此举旨在应对AI数据中心需求激增导致的芯片供应紧张，从单纯压价转向确保稳定供货。
一项研究揭示大语言模型在文本嵌入任务中表现平庸的根源：反嵌入矩阵边缘频谱引入高频词偏见。提出的EmbedFilter方法通过滤除该噪声，在MTEB49项任务上显著提升性能，且无需重新训练，兼容多种基线方法。
2026年世界人工智能大会将于7月17日至20日举办，超过300款人工智能新品全球首发，1400多位嘉宾参会，近140场论坛，展览面积超过10万平方米，促成意向合作金额达162亿元，并且推出首个自主举办的国际顶级人工智能学术会议。
618”期间，AI全面渗透电商，超百万商家使用AI工具提升效率。政策补贴拉动绿色智能家电及汽车消费，市场回暖。供应链升级实现仓配一体化，时效大幅提升，多链协同激活内需活力。
AI生成作品虽完美却缺乏“活人感”，这一悖论贯穿艺术史。《红楼梦》中已批判套路化创作。真正活人感源于创作者内化形式美规律后的即兴发挥与平衡，而非单纯拒绝美化。能否尊重生活细节、容忍碰撞，决定作品是否鲜活，这也是艺术的根本功用。
商务部等8部门发布《关于加快“人工智能+消费”发展的实施意见》，围绕服务消费和商品消费两大领域，明确居家、养老、文旅、教育等场景的AI应用方向，推广智能家居、养老机器人等产品，并适度超前布局城市智能设施。
商汤与香港科技园合作共建国产AI算力中心，目标2030年前实现超40000P算力规模，首阶段预计今年完成。该中心配备国产GPU集群，支撑模型训练与推理，服务本地及国际客户。商汤临港AIDC已有4.04万P算力运营经验。
亚马逊正考虑将其开发的TrainiumAI芯片直接出售给其他公司，以挑战英伟达主导地位。该芯片面向需要本地化数据解决方案的国际企业，亚马逊表示不会影响AWS云业务收入，谷歌也有类似计划。
广东省印发服务业扩能提质方案，聚焦AI机遇，建设国际竞争力的软件与信息技术创新中心，包括培育核心企业、构建AI服务体系、攻关核心技术、建设开源生态，并部署融资租赁、金融合作、算力网络、6G及智能应用。
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
