当前位置:

首页 > 业界资讯 > 再谈复现 Sora:被仰望与被遗忘的

再谈复现 Sora:被仰望与被遗忘的

2月16日,OpenAI发布了视频生成领域的重磅模型——Sora。Sora对ScalingLaw的信仰及其突破性的技术创新,使它持续保持领先地位。同时,也再次证明了“大力出奇迹”依然适用于文生视频领域。Sora披露的技术细节,远远不足以窥其全貌。同时Sora目前也未正式对外开放。源于此,针对Sora的思考和讨论从未停止过。OpenAI发布的技术报告Sora给整个AI领域带来的最大冲击,莫过于如何优化和校正现有的视频生成思路和框架。而由此也引发了持续至今的复现

2月16日,OpenAI 发布了视频生成领域的重磅模型 —— Sora。

Sora 对 Scaling Law 的信仰及其突破性的技术创新,使它持续保持领先地位。同时,也再次证明了“大力出奇迹”依然适用于文生视频领域。

Sora 披露的技术细节,远远不足以窥其全貌。同时 Sora 目前也未正式对外开放。源于此,针对 Sora 的思考和讨论从未停止过。再谈复现 Sora:被仰望与被遗忘的

                              OpenAI 发布的技术报告

Sora 给整个 AI 领域带来的最大冲击,莫过于如何优化和校正现有的视频生成思路和框架。而由此也引发了持续至今的复现 Sora 的热潮。

复现 Sora 的动力,一方面来自技术人员的技术执着与技术理想,另一方面也来自于未来可预期的商业价值。

另外,不容忽视的是,这家持续被戏称为 CloseAI 的人工智能技术研究机构,已然成为了行业内的标杆,几乎每次发布的产品都能带来颠覆式的创新。但是 OpenAI 似乎在坚持闭源的道路上越走越远,这更加点燃了大众对复现 Sora 的激情。我们可以相信未来的几个月内,多个类 Sora 模型将会陆续发布,并将开源出来。

Sora 发布后的这一个多月来,其相关技术创新的讨论和复现的进度如何呢?下面我们一起来看看。

关于复现 Sora,本文从以下三方面展开:

  • 距离 Sora 发布一个多月了,目前复现的进度如何?
  • 复现的可能性有多大?国内有什么技术基础?
  • Sora 到底是不是世界模型?能否帮助我们抵达 AGI?有没有必要复现?

类 Sora 模型


目前已经推出且讨论较多的三个模型分别是 Snap Video、Open-Sora 1.0,以及 Mora。

  • Snap Video
再谈复现 Sora:被仰望与被遗忘的
Snap Video 是2月29日发布的类 Sora 模型,它使用到了可扩展的时空 Transformer,来自开发出 SnapChat 图片分享软件的 Snap 公司,以及特伦托大学等机构。
传送门:《首批类Sora模型出现,色拉布上线Snap Video,效果优于Pika、不输Gen-2

  • Open-Sora 1.0再谈复现 Sora:被仰望与被遗忘的
Open-Sora 1.0 是3月18日全面开源的首个类 Sora 模型,来自 Colossal-AI 团队,该开源模型涵盖了整个训练流程,包括数据处理、所有训练细节和模型权重。
传送门:《没等来OpenAI,等来了Open-Sora全面开源》
  • Mora再谈复现 Sora:被仰望与被遗忘的

Mora 是几天前由理海大学、微软研究院的研究者提出的多智能体框架,该框架整合了几种先进的视觉 AI 智能体,以复制 Sora 所展示的通用视频生成能力。
传送门:《复刻Sora的通用视频生成能力,开源多智能体框架Mora来了》

尽管目前的模型复现效果依然无法企及 Sora,但是短短一月有余,已经有明显的技术突破出现,不失为一个乐观的信号。据不完全统计,国内已有近 10 支团队在复现 Sora,让我们拭目以待。

先于 DiT 的技术架构创新


Sora 使用的 DiT(Diffusion Transformer) 架构目前来看是其最大的技术创新,但追溯来看,也许国内相关的进度更早一些。
  • U-ViT 架构

再谈复现 Sora:被仰望与被遗忘的                               U-ViT 架构

2022年9月,清华团队提交的名为《All are Worth Words: A ViT Backbone for Diffusion Models》的论文,比 DiT 还要早 2 个月。该论文提出用基于 Transformer 的网络架构 U-ViT 替代基于 CNN 的 U-Net,这与 Sora 将 Transfomer 和扩散模型融合的思路不谋而合。
传送门:《国内公司有望做出Sora吗?这支清华系大模型团队给出了希望》
  • VDT

再谈复现 Sora:被仰望与被遗忘的
2023年5月在 arXiv 网站上公开的 Video Diffusion Transformer (VDT),是由中国人民大学研究团队主导,并与加州大学伯克利分校、香港大学等进行合作的,基于 Transformer 的 Video 统一生成框架。对采用 Transformer 架构的原因也给出了详细的解释。
传送门:《国内高校打造类Sora模型VDT,通用视频扩散Transformer被ICLR 2024接收》

也许在核心技术的创新上,国内的探索并不落后,而是走在了前面。不过,囿于资源限制以及技术路线规划等其他原因,没能在之前实现类似 Sora 的效果。

Sora 无疑验证出了一条技术可行性的道路,而我们本身在技术架构上的领先探索,将更有利于我们复现出 Sora,甚至可以更加乐观地相信,在某些领域内超越 Sora 的效果。

Sora 是世界模型吗?


由 Sora 引发的另一个热点讨论,是关于世界模型的。
再谈复现 Sora:被仰望与被遗忘的
Sora 生成的视频无疑对物理世界有了一定了解,比如经典的“海盗船在咖啡杯里纠缠”,肉眼可见能涉及到专业的流体动力学、光线等物理世界的特征。

但是以 Yann LeCun 为代表的一部分科学家力证 Sora 的训练方式和世界模型没有关系。

那 Sora 是不是世界模型,到底懂不懂物理世界?关于这个讨论已经蔓延至各个论坛和直播中。可见对于究竟什么是世界模型这个话题,大家也是见仁见智的。

而我们能明确的是,如果 Sora 是世界模型,那通往通用人工智能(AGI)的理想,可能比我们预计的还要早到达。那复现 Sora 就有了一定的必要性。

关于 Sora,我们保持着好奇,并持续探求以下问题的可能答案。

  • Sora 之前的视频生成架构/技术还能不能用?如何用?

  • Sora 之后,谁是被遗忘的?谁又是被仰望的?

  • Sora 之外,其他创业公司/团队要如何做?做什么?

  • Sora 会改变主流的技术架构吗?以 DiT 为代表的架构是以后主流的架构选择吗?

  • 国内技术力量应不应该复现 Sora?为什么?

  • 已知有近 10 支团队在复现 Sora,我们可能看到的未来格局是什么?

  • 为什么是 OpenAI? OpenAI 的模式能否复刻?

  • Sora 之后,全球的视频生成格局是怎样的?又将如何发展和变化?

  • 如何看待一些明星创业公司公开表示不做 Sora?

  • 多模态大模型的未来在哪里?

  • 不同视角下,如何看待 Sora 的冲击?(投资人、非技术人、央国企、AI 创业者、从业者等视角)

  • OpenAI 扮演着什么样的社会角色?你如何看待这家公司?

  • ……

Sora 带来的冲击是颠覆式的,因此对以上问题的求解将持续进行着。而作为聚焦于 AI 前沿技术探索和应用实践的团队,本站 AI 技术论坛再次将视线放在了视频生成领域。
再谈复现 Sora:被仰望与被遗忘的
4月13日,在北京六道口,我们策划了一期技术论坛,聚焦 Sora 发布后的技术创新、思考与应用实践。活动现场汇聚多位重磅嘉宾,同时我们也会更加深入地探讨上面提到的问题。

在可预见的未来,相信本次活动能产生一定的积极作用和启发,以期推动我国 AI 开源社区的技术发展和传播。

嘉宾阵容


本次论坛的嘉宾阵容强大,我们邀请到了:

  • 业内的知名技术专家张俊林老师,来一场 Sora 核心技术的深度拆解
  • 爆火的视频生成模型 PixelDance 的作者,来自字节跳动的曾妍老师,分享 PixelDance 背后的技术创新和应用
  • 类 Sora 模型 VDT 的团队负责人,来自中国人民大学孵化的创业公司——智子引擎的 CEO 高一钊博士,详细拆解 VDT 的技术创新和实践
  • 投资人是 AI 领域离不开的重要角色,陈石老师作为峰瑞资本的投资合伙人,将带来投资人/机构视角下的独特观察
  • 国央企在 Sora 发布后迅速响应,占据了 AI 领域一席之地,来自中移动信息技术有限公司的算法技术负责人童同老师,将会分享他的全新思考
  • 类 Sora 模型 Open-Sora 1.0 的技术负责人,来自潞晨科技的 CTO 卞正达老师,更是会详细拆解如何复现 Sora,以及来自他们团队的独特思考与实践
  • 还有更多重磅嘉宾,陆续邀请中……
再谈复现 Sora:被仰望与被遗忘的

张俊林

中国中文信息学会理事,中科院软件所博士

目前担任新浪微博新技术研发负责人,此前在阿里巴巴担任资深技术专家,负责新技术团队。技术书籍《这就是搜索引擎:核心技术详解》、《大数据日知录:架构与算法》作者。
再谈复现 Sora:被仰望与被遗忘的

曾妍

ByteDance Research 算法工程师

专注于视频生成和多模态预训练等领域的前沿研究。主导研发的模型为字节跳动的视频生成、短视频审核、电商客服、今日头条、教育解题等业务提供了有力服务,并以第一作者身份将相关的八篇论文发表在 TPAMI, ICML, CVPR, ACL 等国际顶级会议和期刊,同时也担任了 TPAMI, ICML, NIPS, ICLR 等会议的审稿人。主导研发的 PixelDance 视频生成基础模型在业界首次实现了高动态性和稳定性的结合,并首次生成了3分钟的连续剧情动画。
再谈复现 Sora:被仰望与被遗忘的

峰瑞资本 投资合伙人

专注于科技、软件、互联网、消费等领域的投资。加入峰瑞资本前,拥有 5 年阿里巴巴管理层经历,曾担任阿里巴巴移动事业群副总裁、阿里巴巴文化娱乐集团高管、优酷和 UC 国际班委,深度参与 UC、高德、优酷、土豆、神马搜索、UC 国际等产品线的业务决策和管理执行。

15+ 年连续创业,作为核心管理团队成员深度参与 UC(全球最大第三方手机浏览器,2014 年被阿里巴巴收购)和拉卡拉(中国知名第三方支付公司,SZ:300773)的创业过程,分别担任副总裁和 CTO;曾经是一名快乐的程序员,用户增长专家,科技热爱者。

拥有北京航空航天大学机电工程系本科和硕士学历。2023 年获评 EqualOcean「2023年出海全球化投资TOP30人」、甲子光年「2022-2023 年度人工智能与大数据最佳投资人TOP20」。
再谈复现 Sora:被仰望与被遗忘的

高一钊

智子引擎 CEO

中国人民大学高瓴人工智能学院博士。多模态大模型专家,发表多篇顶级期刊、会议论文,曾带领多人团队完成文澜大模型训练。全程参与智子引擎相关模型、产品的开发与推广。
再谈复现 Sora:被仰望与被遗忘的

卞正达

潞晨科技 CTO

毕业于新加坡国立大学,曾在全球超算最顶尖会议 SC 上发表一作论文,拥有 7 年高性能 AI 系统经验,Colossal-AI 系统核心开发者。
再谈复现 Sora:被仰望与被遗忘的

童同

中移动信息技术有限公司 算法技术负责人

中国科学院自动化研究所 AI 博士。目前在中移动信息技术有限公司负责多模态大模型、数字人、智能体等领域研发工作,实现了文生图、文生视频、大模型动作识别与目标检测等关键技术的落地应用。共发表论文 12 篇、公司专利 12 项、软著 4 项。

更多专家正在确认中,敬请期待。

视频生成技术与应用 - Sora 时代


本站 AI 技术论坛时刻保持对 AI 领域技术突破的敏感追踪,为了深入探究 Sora 对技术的冲击和对各行各业带来的影响,我们特别策划了「视频生成技术与应用 — Sora 时代」AI 技术论坛。

希望助力广大企业和从业者紧跟技术发展潮流,全面了解 Sora、视频生成技术、多模态大模型等前沿领域的技术突破和应用实践。

面对扑面而来的 AI 视频生成,积极拥抱学习并敢于尝试,才能抓住技术潮流,破局而生。

期待 2024.04.13,在北京海淀区,和你相遇。

再谈复现 Sora:被仰望与被遗忘的

论坛报名通道正式开启,扫描海报中二维码可直达活动页面。由于嘉宾介绍发布时间较晚,本场论坛的早鸟优惠期有所延长。

即日起至04月07日23:55,购票参会即可直减 200 元, 享受 699 元早鸟特惠门票(原价 899 元)。五人团购更有专属优惠,详见活动详情页。

本站 AI 技术论坛往期的参会者,请单独添加 Alice 微信,直达专属优惠链接。

活动亮点

  • 赠送永久观看上一期「视频生成前沿研究与应用」论坛活动视频及课件(上期活动已购请联系 Alice 扣减,本期购买后记得找 Alice 兑换上一期视频)
  • 永久观看本期「视频生成技术与应用 - Sora 时代」论坛活动会后视频及课件
  • 汇聚高校教授及产业界重磅技术专家,掌握最新技术,拓宽技术视野
  • 和技术大牛面对面交流,会后深度连接
  • 覆盖核心技术拆解、明星产品最佳实践、技术未来探讨及展望
  • 全流程助力学习:会前会后学习资料大礼包
  • 加入视频生成高质量技术交流社群,及时跟进行业前沿技术与资讯
  • 本站旗下相关付费活动享购票八五折优惠

技术交流社群

为了方便技术交流,我们也特意建立了视频生成技术交流群,欢迎关心 Sora、视频生成和多模态大模型的技术从业者扫码加入对话,深入交流技术细节和行业观察。
再谈复现 Sora:被仰望与被遗忘的
关于本次活动商务合作、团购、发票、内容等相关问题,欢迎添加本场活动负责人 Alice 或通过邮件进行咨询。

微信:15650753618
邮箱:jiayaning@jiqizhixin.com

关于发票:报名成功后,可于活动结束后,在活动行 App 上自行申请发票,发票为电子版增值税普票,开票成功后会发送到报名邮箱中。

成为论坛志愿者:参与活动现场的具体事项执行,如签到、引导、秩序管理等,包工作餐。在校学生优先。有意者请联系 Alice。
本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯
相关文章 更多
OpenAI GPT-6 Astra 自主通关《传送门》:技术原理与实验成本解析
OpenAI GPT-6 Astra 自主通关《传送门》:技术原理与实验成本解析

OpenAI GPT-6 Astra 模型通过 MCP 协议与 SourcePauseTool 控制《传送门》游戏,完成 3336 次工具调用并自主通关。实验耗时约 24 小时,API 成本约 571 美元,展示了多模态 AI 在 3D 解谜领域的突破性进展。

OpenAI:数据中心容量在 2025 年增至 1.9 GW,增长三倍
OpenAI:数据中心容量在 2025 年增至 1.9 GW,增长三倍

OpenAI算力总量预计2025年达1.9GW,较2023年增长9.5倍,年经常性收入同步增至200亿美元。推理成本已压至每百万token不到1美元,采取训练性能优先、推理效率优先的双轨策略。未来营收将拓展技术授权与按成效付费模式,并优先研发AIAgent与工作流自动化。

Transformer之父NoamShazeer离开谷歌加入OpenAI
Transformer之父NoamShazeer离开谷歌加入OpenAI

Transformer核心作者NoamShazeer离开谷歌加入OpenAI,担任架构研究负责人。他曾参与创办Character.AI,后因谷歌交易回归,如今再次转投。此举折射出行业对Transformer架构局限性的反思,以及下一代模型架构创新的迫切需求。

突发!谷歌技术巨牛Noam跳槽OpenAI
突发!谷歌技术巨牛Noam跳槽OpenAI

Transformer论文共同一作、谷歌元老级AI专家NoamShazeer再次离开谷歌,加盟OpenAI。他拥有高达35万余次论文引用,近期专利涉及结构化工具调用、神经架构搜索及混合专家模型等关键方向。OpenAI借此补齐构建超级智能体与底层模型架构的核心能力。

谷歌Transformer之父跳槽OpenAI,沙泽尔究竟在想什么?
谷歌Transformer之父跳槽OpenAI,沙泽尔究竟在想什么?

AI传奇人物诺姆·沙泽尔离开谷歌加入OpenAI。作为Transformer架构之父,他因不满谷歌严格的审批流程和“大公司病”,再次出走。选择OpenAI因其快速迭代理念和开放氛围,契合其推动AGI落地的核心诉求。

Codex兼容国产开源模型!实测DeepSeek接入:门槛还是太高
Codex兼容国产开源模型!实测DeepSeek接入:门槛还是太高

OpenAI的Codex工具开放第三方模型接入,但实际门槛高,仅支持ResponsesAPI协议。DeepSeek等国产模型无法直接接入,需通过本地转接桥,响应速度慢于官方模型,但成本极低。此举为国产模型提供成熟Agent容器机会,但OpenAI仍掌握核心标准。

AI制药迎来标准化评估时代,OpenAI入局催化创新药赛道估值重塑
AI制药迎来标准化评估时代,OpenAI入局催化创新药赛道估值重塑

OpenAI发布LifeSciBench基准测试,为AI制药建立标准化评估工具,推动行业规范。港股创新药板块短期承压,但AI制药从概念验证走向产业落地趋势不变,研发效率成核心竞争维度,板块估值有望修复。

Getty Images与OpenAI达成“展示协议”,股价盘前暴涨141%
Getty Images与OpenAI达成“展示协议”,股价盘前暴涨141%

GettyImages与OpenAI签署展示协议,股价盘前暴涨141%,空头回补放大涨幅,市场反应强烈。此次合作标志着双方从对抗转向合作,OpenAI授权版图持续扩张,但公司基本面压力犹存。

OpenAI发布首款自研芯片:大模型直接参与设计与优化
OpenAI发布首款自研芯片:大模型直接参与设计与优化

OpenAI联合博通推出首款自研AI芯片Jalapeño,专为大语言模型推理设计,开发周期仅9个月。芯片采用软硬件协同设计,并用AI优化自身架构,每瓦性能大幅领先业界。计划2026年商用,通过全栈布局降低AI使用门槛。

思科与 OpenAI 深度合作,将在内部大规模使用 AI 编程 Agent “Codex”
思科与 OpenAI 深度合作,将在内部大规模使用 AI 编程 Agent “Codex”

思科与OpenAI深化合作,将AI编程智能体Codex集成至企业级开发体系,实现跨代码仓库构建效率提升20%、缺陷修复提速10-15倍、前端框架升级周期从数周缩短至数天,成为AI驱动研发的核心支柱。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。