李飞飞揭秘创业方向“空间智能”：视觉化为洞察，看见成为理解，理解导致行动
斯坦福李飞飞创业后，首次揭秘新概念“空间智能”。这不仅是她的创业方向，也是指引她的“北极星”，被她认为是“解决人工智能难题的关键拼图”。视觉化为洞察；看见成为理解；理解导致行动。在李飞飞15分钟TED演讲完整公开的基础上，从数亿年前生命进化的起源开始，到人类如何不满足于自然赋予而发展人工智能，直到下一步如何构建空间智能。9年前，李飞飞在同一个舞台上，向世界介绍了刚诞生不久的ImageNet——这一轮深度学习爆发的起点之一。她本人也向网友自我安利：如果把两个视频都看了，你就能对过去10年的计算机视觉、空间智
斯坦福李飞飞创业后，首次揭秘新概念“空间智能”。
这不仅是她的创业方向，也是指引她的“北极星”，被她认为是“解决人工智能难题的关键拼图”。
视觉化为洞察；看见成为理解；理解导致行动。
在李飞飞15分钟TED演讲完整公开的基础上，从数亿年前生命进化的起源开始，到人类如何不满足于自然赋予而发展人工智能，直到下一步如何构建空间智能。
9年前，李飞飞在同一个舞台上，向世界介绍了刚诞生不久的ImageNet——这一轮深度学习爆发的起点之一。
她本人也向网友自我安利：如果把两个视频都看了，你就能对过去10年的计算机视觉、空间智能和AI有很好的了解。
下面在不改变其原意的基础上，我们对李飞飞演讲内容做整理。
空间智能，让AI理解现实世界
生物视觉的进化
让我向你展示一些东西，确切地说，我将向你展示“空无一物”。
这是5.4亿年前的世界。纯粹、无尽的黑暗。它之所以黑暗，并不是因为缺少光线。它之所以黑暗，是因为缺少视觉。
尽管阳光能够穿透海洋表面下1000米，来自海底热泉喷口的光线也能透到到海底，充满了生命的海底，但这些古老的水域中找不到一只眼睛。
没有视网膜，没有角膜，没有晶状体。所以所有这些光线，所有这些生命，都未被看见。
曾经有一段时间，“看到”的概念还不存在。它曾经从未被实现过，直到它被实现了。
出于某种我们才开始理解的原因，能够感知光线的第一批生物——三叶虫出现了。它们是最早一批能够感知我们习以为常的现实的生物。它们是最早一批发现除了自己之外还有其他事物存在的生物。
世界第一次充满众多“自我”。
视觉能力被认为引发了寒武纪大爆发，一个动物物种大量进入化石记录的时期。最初是被动体验，简单让光线进入的行为，很快变得更加主动，神经系统开始进化。
视觉变成了洞察力。看变成了理解。理解导致了行动。
所有这些都催生了智能。
计算机视觉的崛起
今天，我们不再满足于自然界赋予的视觉能力。好奇心驱使我们创造机器，希望其视觉能力至少和我们一样，甚至更好。
九年前，在这个舞台上，我提交了一份关于计算机视觉的早期进展报告。
当时，三个强大的力量首次汇聚在一起：
- 一类称为神经网络的算法
- 快速、专门的硬件，称为图形处理单元，或GPU
- 再加上大数据，比如我的实验室花数年时间整理的1500万张图像，称为ImageNet。
它们共同迎来了现代人工智能时代。
从那时起到现在，我们已经走了相当远。
最开始，仅仅给图像贴上标签就是一个重大突破,但算法的速度和准确性迅速提高。
由我的实验室主办的年度ImageNet挑战赛衡量了这一进展。在这张图表中，可以看到每年模型能力的提高，和其中一些里程碑模型。
我们更进一步，创建了能够分割视觉对象或预测它们之间动态关系的算法，这些工作是由我的学生和合作者完成的。
还有更多。
回想上次演讲我展示的第一个计算机视觉算法，AI可以用人类的自然语言描述一张照片。那是我和聪明的学生Andrej Karpathy一起完成的工作。
当时，我大胆地说：“Andrej，我们能让计算机做相反的事情吗？”Andrej笑着说说：“哈哈，那是不可能的。”
好吧，正如您今天看到的，不可能已经变得可能。
这要归功于一系列扩散模型，为当今的生成式AI算法提供动力，可以将人类的提示词转化为照片和视频，创造出全新的事物。
你们中许多人已经看到了OpenAI的Sora，最近取得令人印象深刻的成果。不过，早在几个月前，在没有大量GPU的情况下，我的学生和合作者们就开发出了一个名为Walt的AI视频生成模型。
△Walt发表于2023年12月
这里还有改进的空间，看看那只猫的眼睛，它在波浪下从未被弄湿，好一个灾～难～（cat-astrophe）。
（谐音梗扣钱！）
空间智能：仅仅看是不够的
过去是一个序章，我们将从这些错误中学习，并创造一个我们想象中的未来。在这个未来，我们希望AI尽其所能为我们做事，或帮助我们做事。
多年来，我一直在说拍照和看到和理解不是一回事。今天，我想再补充一点：仅仅看是不够的。
看，是为了行动和学习。
当我们在3D时空中采取行动时，我们学习，我们学会更好地看，更好地做事。大自然通过“空间智能”创造了一个看和行动的良性循环。
为了展示空间智能是什么，请看这张照片。如果你有想要做点什么的冲动，就举起手。
在一刹那，你的大脑观察了这个杯子的几何形状，它在3D空间中的位置，它与桌子、猫和所有其他物体的关系，而且你可以预测接下来会发生什么。
行动的冲动是所有具有空间智能的生物固有的，它将感知与行动联系起来。
如果我们想让AI超越当前能力，我们不仅想要能够看到和说话的AI，我们想要能够行动的AI。
事实上，我们正在取得令人兴奋的进展。
空间智能的最新里程碑是教计算机看到、学习、行动，并学习看到和行动得更好。
而这并不容易。
大自然花费了数百万年时间进化出空间智能，眼睛捕捉光线，将2D图像投射到视网膜上，大脑将这些数据转换成3D信息。
直到最近，一群来自谷歌的研究人员才开发出一种算法，将一组照片转换成3D空间。
我的学生和合作者们更进一步，创建了一个将单个图像变成3D形状的算法。
密歇根大学的一组研究人员找到了一种方法，将句子转换成3D房间布局。
我在斯坦福大学的同事和他的学生们开发了一种算法，可以从单个图像生成无限可能的空间，供观众探索。
这些就是未来可能性的的原型。在这个可能性中，人类可以将我们的整个世界转化为数字形式，并模拟其丰富和细微之处。
大自然在我们每个人的头脑中隐性地做了什么，空间智能技术有望能为我们的集体意识（collective consciousness）做同样的事情。
随着空间智能的加速进步，一个新时代在这个良性循环中正在我们眼前展开。这种循环正在催化机器人学习，这是任何需要理解和与3D世界互动的具身智能系统的关键组成部分。
十年前，我的实验室的ImageNet使数百万张高质量照片的数据库成为可能，帮助训练计算机视觉。
今天，我们正在做类似的事情，训练计算机和机器人如何在3D世界中行动。
这次我们不是收集静态图像，而是开发由3D空间模型驱动的模拟环境，以便计算机可以学习行动的无限可能性。
你刚刚看到的是教导我们的机器人的一小部分例子，这是一个由我的实验室领导的项目，称为Behavior。
我们也在机器人语言智能方面取得了令人兴奋的进展。
使用基于大型语言模型的输入，我学生以及合作者是第一批展示机械臂可以根据口头指令执行各种任务的团队之一。
比如打开这个抽屉或拔掉电话线。或者制作三明治，使用面包、生菜、西红柿，甚至为用户放一张餐巾纸。通常情况下我希望三明治更丰富一些，但这是一个好的起点。
空间智能的应用前景
在古老时代的原始海洋中，能够看到和感知环境的能力引发了与其他生命形式互动的寒武纪大爆发。
今天，那道光正在达到数字思维。
空间智能不仅允许机器与彼此互动，而且还能与人类，以及真实或虚拟的3D世界互动。
随着这个未来成形，它将对许多生命产生深远的影响。
让我们以医疗保健为例。在过去的十年中，我的实验室一直在做初步努力，将AI应用于解决影响患者结果和医疗人员疲劳的挑战。
与来自斯坦福医学院的合作者和其他合作医院一起，我们正在试验一些智能传感器，可以检测到临床医生是否在没有正确洗手的情况下进入病人房间。或跟踪手术器械，或在病人身体面临风险，如跌倒时提醒护理团队。
我们认为这些技术是一种环境智能，就像额外的眼睛。
但我更希望为我们的患者、临床医生和护理人员提供更多的互动帮助，他们迫切需要额外的一双手。
想象一下，一个自主机器人在护理人员专注于病人的同时运输医疗用品，或者用增强现实技术，引导外科医生进行更安全、更快、更少侵入性的操作。
再想象一下，严重瘫痪的病人可以用他们的思想控制机器人。没错，用脑电波来执行你和我习以为常的日常任务。
这是最近我的实验室进行的一项试点研究。在这个视频中，机器人手臂仅通过大脑电信号控制，正在烹饪一顿日本寿喜锅餐。其中信号非侵入性地通过EEG帽收集。
五亿年前，视觉的出现颠覆了黑暗的世界，引发了最深刻的进化过程：动物世界的智能发展。
过去十年AI的进步同样令人惊叹。但我相信，直到我们为计算机和机器人赋予空间智能，就像大自然对我们所有人所做的那样，这场数字寒武纪大爆发的全部潜力才会完全展现。
这是一个激动人心的时刻，教我们的数字伙伴学会推理，和与我们称之为家的这个美丽的3D空间互动，同时也创造更多我们可以探索的新世界。
实现这一未来并不容易，它要求我们所有人深思熟虑，开发始终以人为本的技术。
但如果我们做得好，由空间智能驱动的计算机和机器人不仅会成为有用的工具，还会成为值得信赖的伙伴，在尊重个人尊严的同时，提高我们的生产力、增强我们的人性，提升我们的集体繁荣。
在所有未来中我最兴奋的，是一个AI变得更有感知、有洞察和空间意识，并与我们一道追求创造更好的世界的方法。
（全文完）
视频回放：https://www.ted.com/talks/fei_fei_li_with_spatial_intelligence_ai_will_understand_the_real_world/transcript
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
现在，请大家一起来数一下"1"、"2"。OK，仅仅2秒的时间，一个接近万亿规模的MoE大模型就已经掌握了如何解答一道高等数学难题的方法！而且呢，这个大模型还是完全依靠国产设备进行训练的，整个流程都体现了浓浓的“国产”特色。这就是华为借助"昇腾+PanguUltraMoE"这一组合实现的成果——不仅达成了国产算力与国产模型在全流程上的自主可控训练闭环，还在集群训练系统的性能方面达到了行业顶尖水平。有多顶尖？来看一组数据：预训练阶段：昇腾Atlas800TA2万卡集群的MFU提升
只需动动嘴，就能操控GUI代理？由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手，直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端（End-to-End）决策的自主GUI智能体，致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音，智能代理的新一轮进化目前，基于大语言模型（LLMs）的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作，显著提升用户效率。然而，这种依赖文本输入的方式在某些场景中存在明显局限
强化学习（RL）结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而，这一方法面临两大挑战：搜索引擎返回的文档质量不稳定，导致训练过程中的噪音和不稳定性；RL训练需要频繁部署，产生大量API开销，限制了可扩展性。针对这些问题，阿里通义实验室推出了开源解决方案ZeroSearch，这是一个无需与真实搜索引擎交互的强化学习框架。实验表明，ZeroSearch只需使用3B参数的LLM作为检索模块，就能有效提升搜索能力，并大幅节省API成本。ZeroSearch让LLM实现自给自足
编辑：桃子【新智元导读】第二代Ameca升级亮相，搭载GPT-4技术，实现实时对话。人形机器人Ameca迎来了它的第二代版本！近期，在2024年世界移动通信大会（MWC）上，全球最先进的机器人Ameca再度亮相。Ameca在会场周围吸引了大量观众。通过GPT-4的增强，Ameca能够即时回应各种问题。「展示一段舞蹈吧」。当被问及是否有情感时，Ameca通过一系列逼真的面部表情作出回应。就在几天前，开发Ameca的英国机器人公司EngineeredArts展示了他们团队的最新成果。视频中，Ameca具备了
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
