当前位置:

首页 > 业界资讯 > 腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析

腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析

2023年,大模型的落地按下加速键,文生图便是最火热的应用方向之一。自从StableDiffusion诞生以来,海内外的文生图大模型不断涌现,一时有「神仙打架」之感。每一次技术迭代,都带来了模型生成效果和速度的飞速提升。就在今天,腾讯混元大模型也宣布了最新进展:文生图能力正式上线。一上手试用,我们就看到了混元大模型对于博大精深的中餐文化的理解。这里选取了让很多大模型犯难的「蚂蚁上树」,但混元轻松生成:问题来了,现在的文生图大模型这么卷,混元大模型还有没有其他特别的优势?据官方介绍,如果从算法、模型方面来讲

本文目录
    2023 年,大模型的落地按下加速键,文生图便是最火热的应用方向之一。

    自从 Stable Diffusion 诞生以来,海内外的文生图大模型不断涌现,一时有「神仙打架」之感。每一次技术迭代,都带来了模型生成效果和速度的飞速提升。

    就在今天,腾讯混元大模型也宣布了最新进展:文生图能力正式上线。

    一上手试用,我们就看到了混元大模型对于博大精深的中餐文化的理解。这里选取了让很多大模型犯难的「蚂蚁上树」,但混元轻松生成:

    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析

    问题来了,现在的文生图大模型这么卷,混元大模型还有没有其他特别的优势?

    据官方介绍,如果从算法、模型方面来讲,当前文生图大模型还存在一些挑战,比如语义理解不够精准、生成图片结构不合理、画面细节不够和质感不高等问题。

    腾讯很早就开始在广告场景进行 AI 自动生成图像的探索,相关的积累不可谓不深厚。此次混元大模型升级的文生图能力,恰恰希望解决「语义、内容、质感」这三点难题。

    据介绍,相比其他大模型,腾讯混元的文生图在人像真实感、场景真实感上有比较明显的优势,同时,在中国风景、动漫游戏等场景等生成上有较好的表现。

    上手实测:混元文生图,有什么不一样?

    做好「文生图」这件事,对「文」的充分理解至关重要。

    在语义理解方面,混元文生图模型采用了中英文双语细粒度的模型,同时基于中英文双语建模实现双语理解,且通过优化算法提升了模型对细节的感知能力与生成效果。

    在此之前,像 Stable Diffusion 这样的热门模型虽然支持一定程度的中文,但其核心数据集 LAION-5B 仍以西方化内容为主,对中国的语言、美食、文化、习俗都理解不够。

    而混元文生图模型是一个中文原生的文生图模型,无论用户输入的中文诗句还是成语,都可以直接要求其创作画作。

    在内容合理性方面,混元文生图通过增强算法模型的图像二维空间位置感知能力,并将人体骨架和人手结构等先验信息引入到生成过程中,让生成的图像结构更合理,改善了 AI 生成人体结构和手部不合理的问题。

    在画面质感方面,混元文生图基于多模型融合的方法,提升生成质感。经过优化之后,混元文生图的人像模型(发丝、皱纹等)效果提升了 30%,场景模型(草木、波纹等)效果提升了 25%。

    这三方面的技术优势,对于混元大模型文生图产品体验的提升是显而易见的。

    为了验证上述能力,本站设置了一些题目,第一时间对混元大模型进行了摸底测试。

    鉴于混元是中文原生模型,自然也比其他同类产品更懂「古代中国的语言」,我们首先让它根据古诗词进行绘画。

    我们选取一句非常有意境的古诗「醉后不知天在水,满船清梦压星河」来测试,看混元大模型能否生成极具画面感的图。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    在《泊船瓜洲》这首诗中,一句「春风又绿江南岸,明月何时照我还」,写出了无数游子的乡愁。混元的生成结果,提取出「春光」、「水岸」、「明月」等意象进行有机组合,让人看到之后仿佛置身诗句场景之中:
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    然后是有趣的「中国菜绘画」环节,来一道「鱼香肉丝」经典考题吧:
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    从让人 san 值狂掉的中餐绘画,到现在看图下饭的水准,我们也能感受到文生图技术的不断进化。

    接下来看看在业界公认的「人像真实感」难题上,混元做得如何:

    我们知道最初 Midjourney 爆火,就是因为下面这张情侣照片,让人无法分辨这竟然无 AI 生成的。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
                                   用 midjourney v5 生成的情侣图

    现在,我们考察一下混元大模型生成「照骗」的能力。使用的 Prompt 是:
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    你觉得真实感如何?在我们看来,Prompt 中提到的细节拉满。

    这也就是腾讯重点强调的:混元大模型通过优化算法提升了对细节的感知能力与生成效果。这种能力,在很多具体的场景中才得以体现。

    例如在动画场景中,生成「一头小鹿在森林中奔跑、带动落叶飞起、月亮很亮很大、小鸟在空中飞翔,氛围感,CG 风格,侧面视角」。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    是不是特别像是小时候看的动画中的画面?

    此外,在动漫创作中,文生图应用潜力巨大。

    我们给到混元大模型的 Prompt 是「生成 3D,动漫风格,1 个女孩,金色头发,微笑,短发,城市背景」:
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    你觉得生成效果如何?是不是可以直接拿来当壁纸了?

    文生图背后,有哪些自研技术?

    工欲善其事,必先利其器,对于大模型同样如此。

    我们了解到,除了创新模型算法,腾讯混元大模型实现这样接中文地气的文生图效果,其背后还离不开高质量的图文匹配数据、自研的机器学习框架以及强大的算力基础设施。

    腾讯混元大模型已经形成了从模型算法到机器学习框架再到 AI 基础设施的全链路自研技术路径。多层次的技术沉淀,意味着大模型的进化需要一步一个脚印,从实践出发,在实践中提升。

    首先来看支撑模型训练的数据工程。

    对于任何 AI 特别是大模型而言,数据都是不可或缺的三大要素之一。大模型文生图功能亦是如此,图文数据尤其是图文之间的匹配数据对生成效果的影响举足轻重。

    但是网络上已有数据并不是都能拿来即用的,其中很大的问题是文字对图片的描述不一定准确,这就导致大多数图文匹配数据质量比较差。如果拿来用,即使训练时间很长,模型生成效果依然达不到预期,也会影响生成质量的稳定性和后续的迭代效率。

    因此,提升图文数据质量成为保证文生图效果的「第一道关」。这时候往往需要通过工程化的方式提升数据质量,支撑模型训练、优化和升级,构筑算法模型的护城河。

    面对图文匹配数据问题,腾讯混元文生图团队的应对策略是这样的:首先细粒度地完善中文 prompt,提升图文相关性,最大化数据质量;然后采取训练数据分层、分级的策略,逐步优化模型,最大化数据效果;最后建设数据飞轮,它是大模型快速迭代的关键。团队基于线上用户使用大模型的反馈,自动化构建训练数据,加快模型迭代,最大化数据效率。

    数据质量、效果和效率提上去了,这就为良好的文生图效果打下了基础。而接下来要讲的机器学习框架同样重要。

    强大的机器学习框架或平台会极大地提升开发者构建、训练和部署模型的速度和效率。腾讯针对大模型训练和推理场景,自研了 Angel 机器学习平台,主要包括负责训练的 AngelPTM 和负责推理的 AngelHCF 两大部分。

    其中 AngelPTM 采用 ZeRO-Cache 优化策略,成为超大模型训练利器,它通过存储管理扩大单机模型容量,通过多流异步提高资源利用率,通过显存管理提高显存效率。此外利用 4D 并行提高可用显存上限,减少千卡通信压力,释放计算潜能。自动续训机制支持千卡故障自动容错,减少中断时间。模型训练情况也在实时监控之下,协同算法优化模型训练方向。

    目前,AngelPTM 基于业界首创的 ZeRO-Cache 机制 + 4D 并行实现了千亿混元基座模型的高速训练,训练速度相比主流开源框架(DeepSpeed-Chat)提升 1 倍。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
                                        ZeRO-Cache 概图。

    AngelHCF 主要从定制多样化服务策略、并行策略、框架加速(覆盖常用 GPU 加速方法)、模型压缩(支持业界常用压缩方法)和高效模型 Debug 能力五个层面提升大模型的推理性能。推理速度相比业界主流框架(FasterTransformer)提升 1.3 倍。

    腾讯表示,其 Angel 机器学习平台具备了领先性能,能够帮助提供更好的基建体系,助力大模型们高速运行。这使得混元大模型生成高质图片的同时,生成速度也大大改进。

    拥有了高质量的数据、高效的机器学习框架,大模型的持续运行还面临着算力层面的考验。毕竟,大模型时代,算力为王。

    腾讯混元文生图功能离不开腾讯云提供的强大算力基础设施。2023 年 4 月,腾讯云发布新一代 HCC 高性能计算集群,采用最新一代星星海自研服务器,并基于自研网络和存储架构,实现了 3.2T 超高互联带宽、TB 级吞吐能力和千万级 IOPS。新一代集群算力性能较前代提升了 3 倍,较传统算力集群方案提升 12 倍以上。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    夯实底层硬件的同时,上层软件能力也要齐头并进。新一代 HCC 集群集成了腾讯云自研的 TACO 训练加速引擎,从网络协议、通信策略、AI 框架、模型编译层面做了大量系统级优化。这套全生态的训练加速方案不仅可以帮助客户降低 AI 优化门槛,提升 AI 训练性能,还使训练调优和算力成本大大降低。

    看起来,制约大模型的三大要素算法、数据和算力,在腾讯混元大模型这里都不成问题了。自然而然,文生图质量和效果也得到了保障。

    效果「以假乱真」,
    文生图能力已嵌入腾讯广告场景

    今天我们看到的混元大模型文生图能力,并非一蹴而就,而是一个实实在在的演进过程。

    在上个月举行的 2023 腾讯全球数字生态大会上,腾讯混元大模型正式亮相。腾讯集团副总裁蒋杰当时表示,混元永远在路上。腾讯会一直演进混元的能力,并希望每个月都会给大家带来惊喜。

    目前,腾讯已有 180 个内部业务接入混元大模型,包括包括腾讯会议、腾讯文档、企业微信、腾讯广告和微信搜一搜等。同时来自零售、教育、金融、医疗、传媒、交通、政务等多个行业的客户也通过腾讯云调用腾讯混元 API,应用领域涉及智能问答、内容创作、数据分析、代码助手等多个场景。

    此次开放的文生图能力便是腾讯混元大模型带给我们的最大惊喜,展示其在图像自动生成领域的领先能力。当然,腾讯混元文生图也在逐渐进化中,后续会开发更多文生图相关以及图生图功能。我们可以狠狠期待一波了。

    目前,混元文生图能力已经嵌入到了腾讯广告场景中,比如生成商品广告或广告配图。在广告业务下的多轮测评中,腾讯混元文生图的案例优秀率和广告主采纳率分别达到 86% 和 26%,均高于同类模型。

    我们先来看下面这个示例,要求混元大模型生成一个酒店房间。从效果来看,升级后混元文生图效果明显更好,设计感、品质感提升很大,细节更加丰富。即使与 Midjourney 比较一番,效果也不相上下。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    人物类生成场景也有类似的效果。升级后混元生成的人像真实感更强,比如面部肤色、皱纹等细节。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    广告场景之外,腾讯内部还在不断探索其他文生图的需求场景,比如游戏场景中生成游戏元素和游戏角色、内容场景中生成小说配图、插图,云业务场景中将混元能力开放给不同行业的客户。

    大浪淘沙,再强悍的模型,也要让更多人用上并持续获得反馈,才有可能百尺竿头更进一步。

    可以预见,未来腾讯产品中将迎来混元文生图能力的大爆发,用户也将体验更多 AIGC 带来的魅力。
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    消息称腾讯混元大模型多模态内容理解负责人胡瀚将离职创业
    消息称腾讯混元大模型多模态内容理解负责人胡瀚将离职创业

    7月23日,一则消息在AI圈里悄然传开:腾讯混元大模型多模态内容理解负责人胡瀚,即将离职并启动创业。目前,他已经开始接触风险投资机构。 胡瀚的履历,放在整个计算机视觉领域都算得上硬核。2014年从清华大学博士毕业后,他直接加入了百度深度学习研究所(IDL),担任技术负责人。两年后,他转战微软亚洲研究

    一年损耗4.6亿吨、1.88万亿打水漂!县域经济,别再“卖特产”了
    一年损耗4.6亿吨、1.88万亿打水漂!县域经济,别再“卖特产”了

    前瞻研判:未来十年,县域特色化经济的竞争,不再是资源的竞争,而是市场信任的竞争。谁能为消费者提供最确定的价值承诺,谁就能赢得市场。 2026年全国两会刚刚落幕,“十五五”规划进入开局之年。今年的政府工作报告中,“扎实推进乡村全面振兴”被摆在突出位置,明确提出要“壮大县域富民产业,做好土特产文章”。这

    南昌光电产业集群将重磅亮相ISLE 2026
    南昌光电产业集群将重磅亮相ISLE 2026

    2026 ISLE展前瞻:南昌光电产业集群即将重磅亮相 明年三月,深圳国际会展中心将迎来一场行业盛事。2026年3月5日至7日,ISLE国际智慧显示及系统集成展将在这里拉开帷幕。而这一次,聚光灯将格外聚焦于一个区域——南昌光电产业集群。他们将以“光耀南昌,智链全球”为主题,携一支实力雄厚的“集团军”

    天龙三号全球首次海上动力系统试车成功,商业航天竞速“大运力”更需安全“压舱石”
    天龙三号全球首次海上动力系统试车成功,商业航天竞速“大运力”更需安全“压舱石”

    天龙三号海上试车成功:看中国商业航天如何将“安全”铸为核心竞争力 9月15日,山东海阳东方航天港,巨大的轰鸣声撕裂长空,炽热的白色蒸汽升腾而起。北京天兵科技自主研制的天龙三号大型液体运载火箭,在这里的海上平台成功完成了一级动力系统试车。 这次试车可不简单——它是世界首次海上动力系统试车试验。结果让人

    通用技术集团发布四大战略行动计划,形成全维发展布局
    通用技术集团发布四大战略行动计划,形成全维发展布局

    3月18日,通用技术集团机床产业生态合作伙伴大会在北京国家会议中心举行 春日的北京,一场关乎中国工业未来的盛会拉开帷幕。通用技术集团机床产业生态合作伙伴大会在国家会议中心举行,近500位产业链上下游的企业代表与行业专家齐聚一堂。会上,通用技术集团总工程师、机床公司董事长周舟发布了集团机床产业的未来发

    华为鸿蒙电脑亮相,重构产业新格局
    华为鸿蒙电脑亮相,重构产业新格局

    华为鸿蒙电脑技术与生态沟通会隆重举行,首款鸿蒙电脑惊艳登场,这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步,为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功,而是华为经过五年精心策划的结果。在此期间,华为汇聚了超过10000名顶尖工程师,与20多家专业研究所紧密合作,投入大量的精力与资源进行技术研发,最终积累了超过2700项核心专利,彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核,从操作系统底层开始重构,旨在为用户提供全面升级的办公体验

    ACL 2024 | 提升大模型持续学习性能,哈工大、度小满提出共享注意力框架SAPT
    ACL 2024 | 提升大模型持续学习性能,哈工大、度小满提出共享注意力框架SAPT

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com赵伟翔是哈尔滨工业大学社会计算与信息检索研究中心2021级直博生,导师为赵妍妍教授和秦兵教授。主要研究方向为对话系统、大语言模型对齐等。他曾以第一作者在ACL、AAAI、IJCAI、CO

    贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM
    贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM

    用来运行Llama3405B优势明显。最近,Meta开源了最新的405B模型(Llama3.1405B),把开源模型的性能拉到了新高度。由于模型参数量很大,很多开发者都关心一个问题:怎么提高模型的推理速度?时隔才两天,LMSYSOrg团队就出手了,推出了全新的SGLangRuntimev0.2。这是一个用于LLM和VLM的通用服务引擎。在运行Llama3.1405B时,它的吞吐量和延迟表现都优于vLLM和TensorRT-LLM。在某些情况下(运行Llama系列模型),它的吞吐量甚至能达到TensorRT

    人类模仿AI新赛道,AI:论疯癫,你是我爹
    人类模仿AI新赛道,AI:论疯癫,你是我爹

    机器之能报道编辑:杨文AI被人类带坏!这个世界,太癫了……最近,社交媒体上冒出来一堆搞怪视频,打着AI的旗号,真人cosAI,甚至抖音还专门出了个热门话题——人类模仿AI大赛。(视频来自抖音博主「关妮乱石」)视频链接:https://mp.weixin.qq.com/s/1DVc8skecSsO0a9QcklZlw套路都一个样儿:左边一张旧照片,右边打着「AI修复」的字幕,实际由真人演绎着脑干缺失的狗血「剧情」。-1-AI:第一次被人冒充,没想到比我还抽

    首届AI奥数竞赛方案公布:4支获奖队伍,竟都选择国产模型DeepSeekMath
    首届AI奥数竞赛方案公布:4支获奖队伍,竟都选择国产模型DeepSeekMath

    获胜的AI数学奥林匹克模型出炉!几天前,随着榜单的公布,大家对全球首届AI数学奥林匹克竞赛(AIMO)进步奖的讨论量居高不下。这次比赛共有5个团队胜出,获得第一名的是Numina的团队,CMU_MATH位列第二,afterexams暂居第三,codeinter、Conor#2团队分别拿到第四、第五的成绩。图源:https://www.kaggle.com/c/ai-mathematical-olympiad-prize/leaderboard这一成绩,曾让陶哲轩感到惊讶。当时官方只公布了获奖名单,并未透漏

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。