当前位置:

首页 > 软件教程 > 腾讯大模型开源,Int4对标DeepSeek,谷歌2GB多模态惊艳登场

腾讯大模型开源,Int4对标DeepSeek,谷歌2GB多模态惊艳登场

图片大家好,我是专注AI学习的老章最近除了阿里Qwen3模型上线了图像生成与处理新功能,大家纷纷尝试吉卜力风格创作外,还有几款新发布的开源大模型值得关注:一是腾讯推出了80B规模的混元A13B模型,最大亮点是实现了近乎无损精度的int4量化,性能强劲二是谷歌发布了轻量级多模态模型Gemma3n,主打可在手机端运行,最低仅需2GB内存三是我发现了一个小众但实用的超长上下文模型Jan-nano-128k,仅2.5GB的Q4_K_M版本就支持128K上下文长度腾讯混

本文目录

    全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)图片大家好,我是专注 AI 学习的老章

    最近除了阿里 Qwen3 模型上线了图像生成与处理新功能,大家纷纷尝试吉卜力风格创作外,

    还有几款新发布的开源大模型值得关注:

    一是腾讯推出了 80B 规模的混元 A13B 模型,最大亮点是实现了近乎无损精度的 int4 量化,性能强劲
    二是谷歌发布了轻量级多模态模型 Gemma 3n,主打可在手机端运行,最低仅需 2GB 内存
    三是我发现了一个小众但实用的超长上下文模型 Jan-nano-128k,仅 2.5GB 的 Q4_K_M 版本就支持 128K 上下文长度

    腾讯混元 A13B

    官方技术报告已经写得非常详尽,有兴趣的朋友可以深入阅读[1]

    试用地址:https://hunyuan.tencent.com/?model=hunyuan-a13b

    全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)图片核心优势一览

    小模型,大能力:仅激活 130 亿参数(总参数达 800 亿),在多项基准测试中表现媲美更大规模模型
    双模式推理:支持“快思考”与“慢思考”两种模式。默认为慢思考输出,若需快速响应,可在输入前加 /no_think
    超长文本理解:原生支持 256K 上下文窗口,在处理长文档任务时性能稳定
    强化 Agent 能力:在 BFCL-v3、τ-Bench、C3-Bench 等智能体评测中表现领先
    高效推理机制:采用分组查询注意力(GQA),支持多种量化格式,显著提升推理效率

    我参考的是魔搭社区上的中文解读版技术博客[2],总结出几个关键点:

    1. 腾讯同步开源了两个重要数据集:ArtifactsBench 用于弥补代码评估中的视觉与交互差距[3],而 C3-Bench 是专为智能体设计的评测集,帮助揭示模型短板并推动可解释性研究[4]

    2. A13B 在数学、科学推理及 Agent 场景下,可与 OpenAI-o1-1217、DeepSeek R1、Qwen3-A22B 正面较量

    Agent

    全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)图片3. Hunyuan-A13B-Instruct-GPTQ-Int4 量化版本几乎与原版无差,堪称精度无损!

    Bench Hunyuan-A13B-Instruct Hunyuan-A13B-Instruct-GPTQ-Int4
    OlympiadBench 82.7 84.0
    AIME 2024 87.3 86.7
    Gsm8k 94.39 94.24
    BBH 89.1 87.91
    DROP 91.1 91.05

    这意味着本地部署时,完全可以使用 int4 版本

    完整模型约 160GB,int4 版本仅约 44GB,估计 4 张 4090 显卡即可流畅运行

    全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)https://modelscope.cn/models/Tencent-Hunyuan/Hunyuan-A13B-Instruct-GPTQ-Int4/https://modelscope.cn/models/Tencent-Hunyuan/Hunyuan-A13B-Instruct-GPTQ-Int4/

    int4 版本部署命令如下:

    # 下载模型:# ModelScope: modelscope download --model Tencent-Hunyuan/Hunyuan-A13B-Instruct-GPTQ-Int4# 拉取国内镜像:docker pull docker.cnb.cool/tencent/hunyuan/hunyuan-a13b:hunyuan-moe-A13B-vllm # 使用ModelScope下载的模型启动服务docker run  --privileged --user root  --net=host --ipc=host \        -v ~/.cache/modelscope:/root/.cache/modelscope \        --gpus=all -it --entrypoint python   docker.cnb.cool/tencent/hunyuan/hunyuan-a13b:hunyuan-moe-A13B-vllm \         -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --tensor-parallel-size 4 \         --port 8000 --model /root/.cache/modelscope/hub/models/Tencent-Hunyuan/Hunyuan-A13B-Instruct-GPTQ-Int4/ --trust_remote_code

    相比 DeepSeek-R1 较高的运行成本,这款 44GB 的 Hunyuan-A13B-Instruct-GPTQ-Int4 在数学、推理和 Agent 表现上值得进一步实测验证。

    谷歌 Gemma 3n

    谷歌 Gemma 家族再添新成员——面向端侧部署的轻量多模态模型 Gemma 3n

    原生多模态支持:Gemma 3n 支持图像、音频、视频和文本输入,输出为文本结果
    专为端侧优化:以高效运行为目标,提供 E2B 和 E4B 两种有效参数规模版本。虽然原始参数为 50 亿和 80 亿,但通过架构创新,实际内存占用相当于传统 20 亿和 40 亿参数模型,最低仅需 2GB(E2B)或 3GB(E4B)即可运行
    架构创新亮点:包括 MatFormer 架构(增强计算灵活性)、逐层嵌入 PLE(提升内存效率)、LAuReL 与 AltUp(优化结构效率),以及专为移动端优化的新型音频编码器和基于 MobileNet-v5 的视觉编码器
    综合性能出色:在多语言支持(覆盖 140 种文本语言和 35 种多模态语言理解)、数学、代码生成和逻辑推理方面均有显著提升。E4B 版本在 LMArena 基准测试中得分突破 1300,成为首个低于 100 亿参数却达到该水平的模型

    全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)图片最吸引人的点在于:极低成本即可实现端侧多模态推理

    据网友实测反馈,Gemma 3n 的语音转写与翻译功能表现良好

    但更值得关注的是其在移动端的实际运行表现

    谷歌已将该模型上架安卓平台的 Edge Gallery 应用,结合其支持 GPU 卸载的特性,可能是目前最佳使用方式

    不过有测试显示,在高通骁龙 6 代 4 核处理器(仅 CPU 运行)上每秒仅生成 4-5 个 token,响应较慢,实用性受限

    目前建议持续关注,更多资源可自行查阅:

    Hugging Face https://huggingface.co/collections/google/gemma-3n-685065323f5984ef315c93f4
    Un

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    软件教程
    相关文章 更多
    deepseek网页版登录入口官网免费在线使用教程
    deepseek网页版登录入口官网免费在线使用教程

    想要免费体验DeepSeek大模型?本文提供DeepSeek网页版官方登录入口,详解注册步骤、免费额度规则及深度思考模式的使用技巧,助你安全、高效地利用AI提升工作效率。

    Temperature与Top-p有什么区别?大模型采样参数解析
    Temperature与Top-p有什么区别?大模型采样参数解析

    深入解析大模型中 Temperature 和 Top-p 参数的区别。通过 Softmax 计算和累计概率示例,说明温度如何影响概率分布形状,Top-p 如何筛选候选词集合,帮助理解模型生成机制。

    智谱等中国大模型何时达到Fable级别水平?马斯克:或许明年一季度
    智谱等中国大模型何时达到Fable级别水平?马斯克:或许明年一季度

    马斯克回应称中国大模型或于2027年一季度达到Fable级别。智谱GLM-5.2多项评测与海外头部模型差距缩小至1%-4%,在CodeArena获全球可用模型第一。智谱股价单日涨26%,市值破9000亿港元。科创板拟扩大第五套标准支持AI企业上市。

    我国首个水产育种专用智能大模型平台发布
    我国首个水产育种专用智能大模型平台发布

    6月19日,我国首个水产育种专用智能大模型平台“蓝鲲智种”在海南发布,由青岛蓝色种业研究院联合中国海洋大学等打造,标志着水产育种领域拥有专属科学智能模型和基础平台。

    7B小模型如何在代码任务上打败数百亿参数的大模型?
    7B小模型如何在代码任务上打败数百亿参数的大模型?

    研究团队提出并行循环Transformer,让70亿参数模型通过两次内部循环思考,在代码任务上超越数百亿参数的大模型,第三次循环后性能因收益-代价失衡而下降。结合显式推理链可进一步提升效果。

    英伟达发明了一种让AI小模型向大模型学习的新方法,效果出奇地好
    英伟达发明了一种让AI小模型向大模型学习的新方法,效果出奇地好

    英伟达提出ZPPO方法,让大模型智慧以题目背景而非答案形式辅助小模型学习,通过二元候选、负面候选及回放缓冲区三大组件,在0.8B模型上视觉语言理解提升9.3%,全面超越现有方法。

    大模型战争下半场:谁还愿意一直租用 AI?
    大模型战争下半场:谁还愿意一直租用 AI?

    闭源API成本高、依赖性强,开放权重模型因可部署、可控、低成本而受青睐。2026年智谱GLM-5.2在特定任务接近美国前沿水平,标志前沿能力通过开放权重扩散。企业转向混合路线,模型调度层成为新机会,核心问题从“谁最强”变为“谁还愿意一直租用AI能力”。

    ICML26 重磅成果!清华 UDS 智能筛选训练样本,大模型微调算力直接减半
    ICML26 重磅成果!清华 UDS 智能筛选训练样本,大模型微调算力直接减半

    大模型监督微调SFT,过去一直被当作一个“数据越多越好”的活儿。但如果你真的在一线跑过训练,就会知道这个直觉有多离谱。2026年的产业数据很清楚:国内大模型训练的整体算力有效利用率,连五成都不到。大量GPU资源,其实都消耗在那些重复、低信息量、甚至带偏见的冗余样本上。 从根子上讲,全量样本训练不仅直

    ICML 2026 | 当大模型开始发明自己的语言:如何让 LLM 用更少 Token 完成高强度推理
    ICML 2026 | 当大模型开始发明自己的语言:如何让 LLM 用更少 Token 完成高强度推理

    CLSR提出让大模型智能体自主生成演化机器语言符号体系,将推理链视为带宽受限的状态传输。实验表明,该方法在多种基准上将生成端token降低约3-6倍,基本维持原始CoT准确率,并改善accuracy-token帕累托前沿。

    国产算力股集体拉升,美团发布首个全国产训推万亿参数大模型
    国产算力股集体拉升,美团发布首个全国产训推万亿参数大模型

    6月30日国产算力板块拉升,寒武纪涨超8%市值破万亿。美团发布LongCat-2.0,为首个完全基于国产算力训推的万亿参数大模型,参数超1.6万亿,测试版调用量全球前三,训练峰值算力超5万卡,成本低于同类模型。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。