当前位置:

首页 > 业界资讯 > 清华创业团队帮你造梦,Idea秒变微电影,最长可达数十分钟!

清华创业团队帮你造梦,Idea秒变微电影,最长可达数十分钟!

机器之能报道编辑:Cardinal引入开创性地多模型智能体协作技术,只需输入一句话,DreamFactory将会自动生成完整的剧本和视频。它是剧本作家,亦是视频导演。AI生成视频场景、情节单一是当下大模型的通病随着大模型的飞速发展,文字生成功领域迅速火爆。然而,目前的文字生成视频通常是一句话生成单场景、单情节的视频,即使是头部视频大模型发布的东京佳人、雪地幼犬等视频Demo,也逃不开单场景、单情节的限制。在实际应用过程中,用户更需要的是多场景、多情节、有故事性质的视频,将文字生成多场景、多情节、有故事性质

机器之能报道

编辑:Cardinal

引入开创性地多模型智能体协作技术,只需输入一句话,Dream Factory 将会自动生成完整的剧本和视频。它是剧本作家,亦是视频导演。

AI 生成视频场景、情节单一是当下大模型的通病 

随着大模型的飞速发展,文字生成功领域迅速火爆。然而,目前的文字生成视频通常是一句话生成单场景、单情节的视频,即使是头部视频大模型发布的东京佳人、雪地幼犬等视频 Demo,也逃不开单场景、单情节的限制。在实际应用过程中,用户更需要的是多场景、多情节、有故事性质的视频,将文字生成多场景、多情节、有故事性质的视频是该领域的必然发展趋势。

清华创业团队帮你造梦,Idea秒变微电影,最长可达数十分钟!

让大模型像一支团队一样协作运转 

每个大模型均为一个独立的智能体或“大脑”,随着大模型的飞速发展,其正在为各行各业全面赋能。而在复杂任务中,大模型“单兵作战”已经无法直接满足需求,多模型智能体协作框架的产生成为了新的解决方案。该框架使用智能体协作/工作流技术扩展大语言模型的多模态能力,类似于现实社会的企业组织转转,其打造了一支由多个大模型组成的 AI 团队。

清华创业团队帮你造梦,Idea秒变微电影,最长可达数十分钟!

清华创业团队帮你造梦,Idea 秒变微电影

来自清华创业协会的本科大四学生谢之非以及卢森堡大学博士研究员 Daniel Tang 等团队开创性地将多模型智能体协作技术引入视频领域,打造“ Dream Factory ”产品。通过对不同大模型赋予不同的角色和分工定义,创建高效协作的工作流,实现一键式将一句话生成多情节、多场景的“微电影”视频。只需要输入一句话,Dream Factory 就会自动生成完整的剧本和视频。它是剧本作者,亦是视频导演。 

情形一:输入一句话或一段话,选择所需的视频长度后,Dream Factory 将发挥自主创作能力,自动生成完整的剧本和视频。例如输入“中世纪战士打败巨龙保卫家园”,生成的视频 Demo 如下: 

清华创业团队帮你造梦,Idea秒变微电影,最长可达数十分钟!

视频链接:https://mp.weixin.qq.com/s/KYj-09JnfPsYjEgZM1W2ug

情形二:输入一段固定文本,由 Dream Factory 将固定文本直接生成对应的视频,例如输入一段演讲稿后,生成的视频 Demo 如下: 

清华创业团队帮你造梦,Idea秒变微电影,最长可达数十分钟!

视频链接:https://mp.weixin.qq.com/s/KYj-09JnfPsYjEgZM1W2ug

除了多模型智能体协作技术,Dream Factory 还引入了全新的长短期记忆数据库、数十个 Prompt 控制因子设计以及镜头-语音组合单元等技术,保持了大模型和视频的稳定性、前后统一性以及流畅性。Dream Factory 生成的视频长度最长可达到数十分钟,保持场景、角色、主题的高度一致。目前,该团队的相关论文即将发布。

让每个人都能一键式生成微电影 

他们致力于通过AI重新定义视频制作,让每个人都可以一键式制作动画、短视频、宣传片、微电影等,让每个Idea都可立即成为Video,助力每一个创作的梦想。同时,这也是一个来自于清华学生创业团队的梦。 

让每个人都能有一支自己的AI团队 

长远来看,他们致力于打造大模型工作流平台,通过将工作流模块化、标准化,用户可以自定义工作流的运转及各环节所需的智能体,实现自定义的多模型智能体协作。让我们拭目以待! 

了解 Dream Factory 后续进展,这里有传送门:http://dreamfactory.yaphet.cn/.

微博ID:DreamFactoryTech

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯
相关文章 更多
华为鸿蒙电脑亮相,重构产业新格局
华为鸿蒙电脑亮相,重构产业新格局

华为鸿蒙电脑技术与生态沟通会隆重举行,首款鸿蒙电脑惊艳登场,这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步,为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功,而是华为经过五年精心策划的结果。在此期间,华为汇聚了超过10000名顶尖工程师,与20多家专业研究所紧密合作,投入大量的精力与资源进行技术研发,最终积累了超过2700项核心专利,彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核,从操作系统底层开始重构,旨在为用户提供全面升级的办公体验

Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

比特现金未来:可扩展性与支付潜力
比特现金未来:可扩展性与支付潜力

比特现金(BCH)的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持,比特现金有望在多个领域取得显著发展,成为一种多功能且广泛使用的加密货币。

ACH总量10亿,价值与用途详解
ACH总量10亿,价值与用途详解

ACH 总共发行了 10 亿枚,用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准,采用 PoS 机制,可通过私募、公募和生态系统分配获取,其价值受服务需求、实用性和市场趋势影响,可在币安、火币等交易所购买。

Coinbase Pro设置指南:下载、登录与自定义
Coinbase Pro设置指南:下载、登录与自定义

Coinbase Pro 设置步骤:下载并安装软件后,打开并登录,点击右上角齿轮图标进入“首选项”。在首选项中,你可以调整界面、安全、通知、交易和API设置,完成后点击“保存”按钮确认更改。

IoTeX等基础设施如何赋能IoT生态
IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络,确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用,物联网生态系统实现了去中心化、安全、互操作性和自治,充分释放了物联网的潜力。

DOGE发行价多少
DOGE发行价多少

波场etf代码
波场etf代码

TRX浏览器查询地址
TRX浏览器查询地址

ChainLink跑路了吗
ChainLink跑路了吗

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。