华人科学团队推出「思维链集」，全面测评大模型复杂推理能力
大模型能力涌现，参数规模越大越好？然而，越来越多的研究人员声称，小于10B的模型也可以实现与GPT-3.5相当的性能。真是如此吗？OpenAI发布GPT-4的博客中，曾提到：在随意的交谈中，GPT-3.5和GPT-4之间的区别可能很微妙。当任务的复杂性达到足够阈值时，差异就会出现——GPT-4比GPT-3.5更可靠、更有创意，并且能够处理更细微的指令。谷歌的开发者对PaLM模型也进行了类似的观察，他们发现，大模型的思维链推理能力明显强于小模型。这些观察都表明，执行复杂任务的能力，才是体现大模型能力的关键。
大模型能力涌现，参数规模越大越好？
然而，越来越多的研究人员声称，小于10B的模型也可以实现与GPT-3.5相当的性能。
真是如此吗？
OpenAI发布GPT-4的博客中，曾提到：
在随意的交谈中，GPT-3.5和GPT-4之间的区别可能很微妙。当任务的复杂性达到足够阈值时，差异就会出现——GPT-4比GPT-3.5更可靠、更有创意，并且能够处理更细微的指令。
谷歌的开发者对PaLM模型也进行了类似的观察，他们发现，大模型的思维链推理能力明显强于小模型。
这些观察都表明，执行复杂任务的能力，才是体现大模型能力的关键。
就像那句老话，模型和程序员一样，「废话少说，show me the reasoning」。
来自爱丁堡大学、华盛顿大学、艾伦AI研究所的研究人员认为，复杂推理能力是大模型在未来进一步朝着更加智能化工具发展的基础。
基本的文字总结归纳能力，大模型执行起来确实属于「杀鸡用牛刀」。
针对这些基础能力的测评，对于研究大模型未来发展似乎是有些不务正业。
论文地址：https://arxiv.org/pdf/2305.17306.pdf
大模型推理能力哪家强？
这也就是为什么研究人员编制了一个复杂推理任务列表Chain-of-Thought Hub，来衡量模型在具有挑战性的推理任务中的表现。
测试项目包括，数学（GSM8K)），科学（MATH，定理 QA），符号（BBH） ，知识（MMLU，C-Eval），编码（HumanEval）。
这些测试项目或者数据集都是针对大模型的复杂推理能力下手，没有那种谁来都能答得八九不离十的简单任务。
研究人员依然采用思维链提示（COT Prompt）的方式来对模型的推理能力进行测评。
对于推理能力的测试，研究人员只采用最终答案的表现作为唯一的衡量标准，而中间的推理步骤不作为评判的依据。
如下图所示，当前主流模型在不同推理任务上的表现。
测试结果：模型越大推理能力越强
研究人员的研究专注于当前流行模型，包括GPT、Claude、PaLM、LLaMA和T5模型家族，具体而言：
OpenAI GPT包括GPT-4（目前最强）、GPT3.5-Turbo（更快，但能力较弱）、text-davinci-003、text-davinci-002和code-davinci-002（Turbo之前的重要版本）。
Anthropic Claude包括claude-v1.3（较慢但能力较强）和claude-instant-v1.0（较快但能力较弱）。
Google PaLM，包括PaLM、PaLM-2，以及它们的指令调整版本（FLan-PaLM和Flan-UPaLM），强基础和指令调整模型。
Meta LLaMA，包括7B、13B、33B和65B变体，重要的开放源码的基础模型。
GPT-4在GSM8K和MMLU上明显优于其他所有模型，而Claude是唯一一个与GPT系列相媲美的模型。
FlanT5 11B和LLaMA 7B等较小的模型掉队掉的厉害。
通过实验，研究人员发现，模型性能通常与规模相关，大致呈对数线性趋势。
不公开参数规模的模型，通常比公开规模信息的模型表现更好。
LLaMA-65B推理能力接近ChatGPT
另外，研究者指出，开源社区可能仍需要探索关于规模和RLHF的「护城河」以进一步改进。
论文一作符尧总结道：
1. 开源和封闭之间存在明显的差距。
2. 大多数排名靠前的主流模型是RLHF
3. LLaMA-65B非常接近code-davinci-002，GPT-3.5的基础模型
4. 综合上述，最有希望的方向是「在LLaMA 65B上做RLHF」。
针对这个项目，作者对未来的进一步优化进行了说明：
未来会增加更多包括更精心选择的推理数据集，尤其是衡量常识推理、数学定理的数据集。
以及调用外部 API 的能力。
更重要的是要囊括更多语言模型，例如基于 LLaMA 的指令微调模型，例如 Vicuna7等等开源模型。
还可以通过 API像 Cohere 8 一样访问PaLM-2 等模型的能力。
总之，作者相信这个项目可以作为评估和指导开源大语言模型发展的一个公益设施发挥很大作用。
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
强化学习（RL）结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而，这一方法面临两大挑战：搜索引擎返回的文档质量不稳定，导致训练过程中的噪音和不稳定性；RL训练需要频繁部署，产生大量API开销，限制了可扩展性。针对这些问题，阿里通义实验室推出了开源解决方案ZeroSearch，这是一个无需与真实搜索引擎交互的强化学习框架。实验表明，ZeroSearch只需使用3B参数的LLM作为检索模块，就能有效提升搜索能力，并大幅节省API成本。ZeroSearch让LLM实现自给自足
编辑：桃子【新智元导读】第二代Ameca升级亮相，搭载GPT-4技术，实现实时对话。人形机器人Ameca迎来了它的第二代版本！近期，在2024年世界移动通信大会（MWC）上，全球最先进的机器人Ameca再度亮相。Ameca在会场周围吸引了大量观众。通过GPT-4的增强，Ameca能够即时回应各种问题。「展示一段舞蹈吧」。当被问及是否有情感时，Ameca通过一系列逼真的面部表情作出回应。就在几天前，开发Ameca的英国机器人公司EngineeredArts展示了他们团队的最新成果。视频中，Ameca具备了
4月2日，HuggingFace大模型榜单迎来更新，阿里通义千问近期开源的端到端全模态大模型Qwen2.5-Omni力压群雄，荣登榜首！DeepSeek-V3-0324和群核的SpatialLM-Llama-1B紧随其后，杭州公司包揽榜单前三甲。Qwen2.5-Omni展现出卓越的多模态处理能力，能够流畅处理文本、图像、音频和视频等多种数据类型，并实时生成文本及语音输出。在OmniBench等权威多模态融合任务评测中，其性能表现创下新纪录。令人惊喜的是，它仅拥有70亿参数的小巧体积，这使得全模态大模
斯坦福李飞飞创业后，首次揭秘新概念“空间智能”。这不仅是她的创业方向，也是指引她的“北极星”，被她认为是“解决人工智能难题的关键拼图”。视觉化为洞察；看见成为理解；理解导致行动。在李飞飞15分钟TED演讲完整公开的基础上，从数亿年前生命进化的起源开始，到人类如何不满足于自然赋予而发展人工智能，直到下一步如何构建空间智能。9年前，李飞飞在同一个舞台上，向世界介绍了刚诞生不久的ImageNet——这一轮深度学习爆发的起点之一。她本人也向网友自我安利：如果把两个视频都看了，你就能对过去10年的计算机视觉、空间智
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
