结合物理引擎，GPT-4+扩散模型生成逼真、连贯、合理视频
扩散模型的引入推动了文本生成视频技术的发展，然而，这些方法往往计算成本高昂，且难以实现流畅的物体运动视频为了应对这些问题，来自中国科学院深圳先进技术研究院、中国科学院大学和VIVO人工智能实验室的研究人员联合提出了一种名为GPT4Motion的新框架，该框架无需训练即可生成文本视频。GPT4Motion结合了GPT等大型语言模型的规划能力、Blender软件提供的物理模拟能力以及扩散模型的文生成图能力，旨在大幅提升视频合成的质量项目链接：https://gpt4motion.github.io/论文链接：
扩散模型的引入推动了文本生成视频技术的发展，然而，这些方法往往计算成本高昂，且难以实现流畅的物体运动视频
为了应对这些问题，来自中国科学院深圳先进技术研究院、中国科学院大学和VIVO人工智能实验室的研究人员联合提出了一种名为GPT4Motion的新框架，该框架无需训练即可生成文本视频。GPT4Motion 结合了GPT等大型语言模型的规划能力、Blender软件提供的物理模拟能力以及扩散模型的文生成图能力，旨在大幅提升视频合成的质量
- 项目链接：https://gpt4motion.github.io/
- 论文链接：https://arxiv.org/pdf/2311.12631.pdf
- 代码链接：https://github.com/jiaxilv/GPT4Motion
GPT4Motion 使用 GPT-4 基于用户输入的文本 prompt 生成 Blender 脚本。它利用 Blender 的物理引擎来创建基本的场景组件，并将其封装为连续的跨帧运动。然后，将这些组件输入到扩散模型中，生成与文本 prompt 相匹配的视频
实验结果表明，GPT4Motion 能够高效地生成高质量的视频，同时保持了运动的一致性和实体的一致性。需要注意的是，GPT4Motion 使用了物理引擎，使得生成的视频更加真实。这为文本生成视频提供了新的视角
让我们先看看GPT4Motion的生成效果，例如输入文本提示：「一件白色T恤在微风中飘动」、「一件白色T恤在风中飘动」、「一件白色T恤在大风中飘动」。由于风的强度不同，GPT4Motion生成的视频中白色T恤的飘动幅度也不同：
在液体流动形态方面，GPT4Motion 生成的视频也能够很好地表现出来：
篮球从空中旋转着落下：
方法介绍
该研究的目标是根据使用者对一些基本物理运动场景的 prompt，生成一个符合物理特性的视频。物理特性通常与物体的材料有关。研究者的重点在于模拟日常生活中常见的三种物体材料：1）刚性物体，在受力时能保持形状不发生变化；2）布料，其特点是柔软且易飘动；3）液体，表现出连续和可变形的运动。
此外，研究人员还特别关注这些材料的几种典型运动模式，包括碰撞（物体之间的直接撞击）、风效应（气流引起的运动）和流动（连续且朝着一个方向移动）。模拟这些物理场景通常需要经典力学、流体力学和其他物理知识。目前专注于文本生成视频的扩散模型很难通过训练获取这些复杂的物理知识，因此无法制作出符合物理特性的视频
GPT4Motion的优势在于：确保生成的视频不仅与用户输入的提示一致，而且在物理上也是正确的。GPT-4的语义理解和代码生成能力可以将用户的提示转化为Blender的Python脚本，该脚本可以驱动Blender的内置物理引擎来模拟相应的物理场景。此外，该研究还使用了ControlNet，将Blender模拟的动态结果作为输入，指导扩散模型逐帧生成视频
利用 GPT-4 激活 Blender 进行模拟操作
研究者观察到，虽然 GPT-4 对 Blender 的 Python API 有一定的了解，但它根据用户 prompt 生成 Blender 的 Python 脚本的能力仍然有所欠缺。一方面，要求 GPT-4 直接在 Blender 中创建哪怕是一个简单的 3D 模型（如篮球）似乎都是一项艰巨的任务。另一方面，由于 Blender 的 Python API 资源较少且 API 版本更新较快，GPT-4 很容易误用某些功能或因版本差异而出错。为了解决这些问题，该研究提出了以下方案：
- 使用外部 3D 模型
- 封装 Blender 函数
- 将用户 prompt 转化为物理特性
图 3 显示了该研究为 GPT-4 设计的通用 prompt 模板。它包括封装的 Blender 函数、外部工具和用户指令。研究者在模板中定义了虚拟世界的尺寸标准，并提供了有关摄像机位置和视角的信息。这些信息有助于 GPT-4 更好地理解三维空间的布局。之后基于用户输入的 prompt 生成相应的指令，引导 GPT-4 生成相应的 Blender Python 脚本。最后，通过该脚本，Blender 渲染出物体的边缘和深度，并以图像序列的形式输出。
重写后的内容：制作遵循物理规律的视频
这项研究旨在根据用户提供的提示和Blender所提供的相应物理运动条件，生成与文字内容一致且视觉效果逼真的视频。为此，研究采用了扩散模型XL（SDXL）来完成生成任务，并对其进行了改进
- 物理运动约束
- 时间一致性约束
实验结果
控制物理特性
图4展示了GPT4Motion在三种提示下生成的篮球运动视频，涉及篮球的下落和碰撞。在图4的左侧，篮球在旋转时保持了高度逼真的纹理，并准确地复制了与地面碰撞后的弹跳行为。图4的中间显示，此方法可以精确控制篮球的数量，并有效地生成多个篮球落地时发生的碰撞和弹跳。令人惊喜的是，如图4右侧所示，当用户要求将篮球抛向摄像机时，GPT-4会根据生成脚本中篮球的下落时间计算出必要的初速度，从而实现逼真的视觉效果。这表明，GPT4Motion可以与GPT-4所掌握的物理知识相结合，从而控制生成的视频内容
在风中飘动的布料。图 5 和图 6 验证了 GPT4Motion 在生成在风力影响下运动的布匹的能力。利用现有的物理引擎进行模拟，GPT4Motion 可生成不同风力下布的波动和波浪。在图 5 展示了一面飘动旗帜的生成结果。在不同风力下，旗帜呈现出复杂的波纹和波浪图案。图 6 显示了不规则布料物体 —— T 恤，在不同风力下的运动情况。受织物弹性和重量等物理特性的影响，T 恤发生了抖动和扭曲，并出现了明显的褶皱变化。
图 7 展示了将不同粘度的水倒入马克杯的三段视频。当水的粘度较低时，流动的水与杯子中的水发生碰撞并融合，形成复杂的湍流现象。随着粘度的增加，水流变得缓慢，并且液体开始相互黏连在一起
与基线方法对比
在图1中，GPT4Motion与其他基线方法进行了直观对比。很明显，基线方法的结果与用户的提示不符。DirecT2V和Text2Video-Zero在纹理逼真度和动作一致性方面存在缺陷，而AnimateDiff和ModelScope虽然提高了视频的流畅度，但在纹理一致性和动作逼真度方面仍有提升空间。与这些方法相比，GPT4Motion可以在篮球下落和与地板碰撞后的弹跳过程中生成平滑的纹理变化，看起来更加逼真
如图 8（第一行）所示，AnimateDiff 和 Text2Video-Zero 生成的视频在旗帜上出现了伪影 / 扭曲，而 ModelScope 和 DirecT2V 则无法平滑地生成旗帜在风中飘动的渐变。但是，如图 5 中间所示，GPT4Motion 生成的视频可以显示出旗帜在重力和风力作用下皱纹和波纹的连续变化。
所有基线的结果都与用户提示不符，如图8中的第二行所示。尽管AnimateDiff和ModelScope的视频反映了水流的变化，但它们无法捕捉到水倒入杯子的物理效果。另一方面，由Text2VideoZero和DirecT2V生成的视频则创造了一个不断抖动的杯子。与此相比，如图7（左）所示，GPT4Motion生成的视频准确地描述了水流与马克杯碰撞时的激荡，效果更加逼真
有兴趣的读者可以阅读原始论文，以了解更多的研究内容
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
在千兆宽带、5G通信与云服务深度普及的2026年，大众普遍以为超大文件传输已步入“秒级时代”，但现实远未达到这般畅快。当面对数TB乃至数十TB级别的庞大数据集时，当下最可靠、最迅捷且兼顾安全性的传输方案，依然是“物理位移”——依靠人工携带存储介质完成跨地域交付。一位来自河南信阳的用户讲述了真实经历：他曾需将4TB资料从信阳送往郑州，首次尝试纯网络传输，系统预估总耗时近72小时；最终改用专人驱车运送，单程仅需约2.5小时，当天即完成取件与送达，整体效率显著超越线上方式。该实例迅速引发热议，多位资深IT博主随
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
强化学习（RL）结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而，这一方法面临两大挑战：搜索引擎返回的文档质量不稳定，导致训练过程中的噪音和不稳定性；RL训练需要频繁部署，产生大量API开销，限制了可扩展性。针对这些问题，阿里通义实验室推出了开源解决方案ZeroSearch，这是一个无需与真实搜索引擎交互的强化学习框架。实验表明，ZeroSearch只需使用3B参数的LLM作为检索模块，就能有效提升搜索能力，并大幅节省API成本。ZeroSearch让LLM实现自给自足
无论是专业摄影师还是摄影爱好者，相机内存储卡的可靠性都至关重要，尤其是在恶劣的拍摄环境中，数据存储的安全性更是不可忽视。尽管市场上有多种支持三防功能的移动存储设备用于数据备份，但最常用的SD存储卡由于采用塑料外壳，长期使用后容易出现破损，导致数据损坏，甚至可能损坏相机的存储卡槽，带来的损失不可估量。国际存储品牌雷克沙推出了全新的Armor系列SD存储卡，不仅读写速度快，还采用了不锈钢材质的外壳，具有优异的防水、防尘和防跌落性能，为相机的原始拍摄数据提供了可靠的保护。雷克沙ArmorSD存储卡分为GOLD
1.1计算机发展历程[计组]1.0_你好，我是计算机组成原理我们生活在一个信息化程度极高的世界中，我们每天的生活都离不开电脑和手机，这些设备实际上都属于计算机的范畴。计算机的底层结构由硬件构成，在硬件之上，我们会安装操作系统，再在操作系统上运行各种应用软件，这样就能得到一个易于使用的计算机系统。通过计算机网络，这些设备实现了信息的互联互通，这正是我们现在生活的信息化世界的缩影。计算机组成原理这门课研究的就是这些计算机硬件在底层如何协同工作。既然我们要研究硬件，不妨先来看一下大家日常生活中常见的一些硬件
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
