当前位置:

首页 > 硬件相关 > 36氪首发 | 清华团队做出全球首个实时理解生理与情绪的基座模型,进一步布局硬件

36氪首发 | 清华团队做出全球首个实时理解生理与情绪的基座模型,进一步布局硬件

清华团队研发全球首个实时理解生理与情绪的基座模型FacePhys,基于rPPG技术输出心率等120余项指标,精度达医疗级,端侧延迟≤10ms。获顺为资本融资,已落地机器人、智能座舱等场景,实现生理与情绪多模态理解。

先说几个核心判断:AI交互这件事,光靠文本和语音,已经不够了。人跟人之间交流,大量的信息其实藏在表情、眼神、心跳里——这些都是AI目前根本读不懂的“潜台词”。正因为看到了这一点,有一家公司正在试图从底层把这个缺口补上。

硬氪近期获得的消息是,北京微面科技刚刚完成了由顺为资本领投的数百万美元融资。这家公司的核心团队来自清华大学,背景横跨大模型、人机交互、软件工程与医学,方向也很明确——用自己研发的基座模型,重新定义人机交互的方式。

你发现没有,现在的AI交互有个问题:它极度依赖你“说出来”指令,却完全感受不到你“没说出口”的东西。但问题在于,人类表达的真实信息里,非语言部分占了55%以上。也就是说,现有的机器视觉只能看到你在动,却看不到你是紧张、疲劳,还是心里藏着情绪波动。无论是物理世界的机器人,还是虚拟空间的AI助手,少了这一层“读懂人”的能力,本质上都只能做机械的被动响应。

微面科技的切入点,恰恰选在了这里。

他们基于rPPG(远程光电容积描记)技术,全栈自研了一款叫做FacePhys的面部基座模型。这个模型能实时输出超过120项指标——心率、心率变异性、呼吸率、面部动作单元、眼动特征、情绪维度,甚至语音特征,全都覆盖在内。更关键的是,他们绑定了一套“HRV情绪生理晴雨表”,用来关联心率与急剧情绪。用大白话说,假笑系统能识别,压抑的情绪也能捕捉,因为这些信号根本伪装不了。对大模型来说,这就是一个全新的、真实的生理情绪数据入口。

当然,这条路并不容易。rPPG技术落地以前有个老大难问题:光照变化、头部运动这些噪声,很容易让数据“跑偏”。微面科技的做法是,自己建了一个万人级的临床标注数据集,包含了数千万个测量采样点,覆盖不同肤色和复杂场景,还专门在安贞医院做了临床验证。这些数据,最终都被融进了基座模型里。

算法层面,他们引入了一个有意思的思路——“状态空间模型”。关于这一点,创始人唐健凯的解读很形象:这种模型与大语言模型“预测下一个Token”的逻辑类似,只不过大模型预测的是下一个词,而它预测的是人体下一时刻的生理行为状态。心跳、呼吸这些生命体征,从此被建模成了一个连续的物理过程,而不是离散视频帧的简单拼接。

效果怎么样?核心指标上,心率检测精度已经控制在≤2 BPM,达到了医疗级标准;端侧推理延迟≤10ms,基本是实时响应;而且端侧小模型的参数规模只有0.2M,普通手机和摄像头上就能直接跑,根本不用依赖云端算力。

光能读懂生理信号还不够。微面科技进一步构建了一套多模态的“人类理解系统”,把动作、姿态、眼动等空间特征也融合了进来。模型不仅能识别情绪,还能理解行为背后的需求和动机,甚至预测交互意图和动作轨迹。用他们自己的话说,就是“察言观色,知行先觉”。

产品落地的思路也很务实。软件层面,微面科技通过SDK/API向机器人、智能座舱、健康设备厂商输出算法能力。目前三大场景已经铺开:家用机器人领域与海尔机器人达成量产合作;康养机器人领域用于养老院和社区的快速健康筛查;仿生机器人领域实现了毫秒级低延时的自然交互。车载方向,正在与某头部Tier 1供应商联合打磨疲劳监测方案。

硬件层面,他们推出了搭载FacePhys模型的嵌入式摄像头模组。其中,面向科研机构与医院的旗舰产品Findings科研数据采集系统,已经进入批量采购阶段。


图源企业

关于技术路线和行业定位,唐健凯在交流中也给出了更清晰的回答。

当被问到“国内外还有谁在做rPPG生理和情绪识别”时,他提到,国外确实有像FaceHeart这样的公司,聚焦心脏健康监测并拿到了FDA认证,但更多是服务于远程医疗。微面科技的方向更宽,不仅要看心率,还覆盖情绪、压力、眼动行为等多个维度,本质上是在从“生理感知”走向“人的状态理解”。而国内大多数方案目前还停留在“录制视频+云端分析”的模式——先录30秒视频,上传云端,等几十秒出结果,过程中稍有运动或光照变化,鲁棒性就大打折扣。

关于“为什么能做得更精准”,唐健凯的解释涉及到两个关键点。一是模型层面的优化,核心就是状态空间模型捕捉人体生理状态的连续性和周期性;二是数据质量,训练数据并非大模型虚拟打标,而是来自医院合作和医疗级设备采集,万人级临床数据库的客观性和准确性,是普通方案无法比拟的。在情绪理解上,他们也建立了一套完整的逻辑:高HRV往往对应积极放松的状态,而运动时心率升高并不等于情绪波动。单看指标是不行的,必须结合动作、姿态、眼动等空间特征,一起判断人的真实状态。概括起来,就是把“时间维度上的生理连续性”和“空间维度上的视觉感知能力”融合到一个模型里,让AI同时理解人的生理、情绪和行为。

至于为什么还要做硬件模组,唐健凯的逻辑也很清晰:视频数据量极大,全上云端处理延迟高,交互体验会很差。端侧处理让感知和推理发生在设备本地,响应更及时。另一个核心考量是隐私——生理和情绪数据本身就敏感,尤其在医疗、健康管理等场景,用户更希望数据留在本地,而不是全部上传到云端API。

投资人观点

顺为资本:公司研发的实时生理与情绪理解基座模型,在技术路线和底层架构上具备全球唯一性。该技术可快速落地智能座舱、机器人和智能硬件等多元场景,应用空间广阔。顺为高度认可团队的技术与产品化能力,愿与微面科技在人、车、家全场景深度协同、长期陪伴,共同开拓下一代人机交互与具身智能赛道的商业前景。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
作者最新文章
硬件相关 机器人
相关文章 更多
显示器色温怎么调不刺眼?色温调多少看着最舒服
显示器色温怎么调不刺眼?色温调多少看着最舒服

详解显示器色温的舒适调节区间、刺眼的核心诱因,以及在不同使用场景与环境光下的具体调节步骤与校准方法。

显卡风扇不转怎么回事判断是否正常及解决方法
显卡风扇不转怎么回事判断是否正常及解决方法

发现显卡风扇不转先别慌,这很可能是正常的智能启停功能。本文详解如何区分待机静音与硬件故障,提供从软件检测到物理清理的完整解决思路。

笔记本加内存条后无法开机怎么办及解决方法
笔记本加内存条后无法开机怎么办及解决方法

笔记本加装新内存后遇到黑屏或无法开机?不要慌张,本文通过重新插拔、清洁金手指、单根测试等具体操作步骤,帮你快速判断是安装失误还是硬件不兼容,并给出相应解决办法。

电脑主机前置usb不能用怎么解决排查修复教程
电脑主机前置usb不能用怎么解决排查修复教程

针对电脑主机前置USB接口无法识别设备的问题,本文提供一套基于因果逻辑的排查流程。涵盖检查机箱内部USB针脚连接、验证BIOS中USB控制器状态、更新芯片组驱动以及排除供电不足等常见原因,帮助用户快速恢复接口功能。

无线鼠标充不进电解决办法及故障排查步骤
无线鼠标充不进电解决办法及故障排查步骤

遇到无线鼠标充不进电的问题,不要急于更换设备。本文详解从清理接口氧化层、更换数据线到检测电池电压的完整排查流程,帮助你判断是临时故障还是硬件损坏。

蓝牙游戏手柄连接教程吃鸡
蓝牙游戏手柄连接教程吃鸡

想知道如何用蓝牙手柄玩吃鸡游戏?本文详细讲解手机蓝牙手柄的连接步骤、主流映射软件的使用方法以及实战中的键位布局技巧,助你提升射击手感,同时解析外设玩家的匹配机制与注意事项。

游戏手柄蓝牙连接为何每次都要重连原因排查与解决方法
游戏手柄蓝牙连接为何每次都要重连原因排查与解决方法

本文深入分析游戏手柄蓝牙频繁断开且需重连的根本原因,涵盖电池电压检测、操作系统电源管理策略及驱动冲突。通过具体的系统设置调整和固件更新步骤,解决蓝牙握手失败问题,恢复手柄的稳定连接状态。

显示器画面模糊抖动怎么解决及排查方法教程
显示器画面模糊抖动怎么解决及排查方法教程

遇到显示器画面模糊或抖动时,可通过检查视频连接线、调整系统分辨率与刷新率、更新显卡驱动等步骤进行排查和修复。

小米智能门锁换电池后怎么开机
小米智能门锁换电池后怎么开机

小米智能门锁更换新电池后无法开机或屏幕不亮?本文详解电池极性检查、金属触点清洁及强制重启方法,帮你快速解决供电问题,让门锁恢复正常使用。

电视机声音怎么连接到外置音响
电视机声音怎么连接到外置音响

想让电视声音更震撼?本文详解如何通过HDMI ARC、光纤、蓝牙和3.5mm接口将电视连接至外置音响,包含具体设置步骤与常见问题排查,助你轻松打造家庭影院。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

PDF教程
PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

Mac软件 更多
WPS Office macOS版
WPS Office macOS版
macOS

WPS Office是一款面向macOS用户的综合办公套件,将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式,支持Intel及Apple芯片Mac,基础功能可免费使用,

Shapr3D macOS版
Shapr3D macOS版
Mac

Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核,支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换,并可通过账户在多台设备之间同步项目。

REAPER macOS版
REAPER macOS版
Mac

REAPER是Cockos开发的数字音频工作站,提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片,支持AU、VST、VST3、CLAP等插件格式,并提供高度可定制的工作流程。

WINDOWS 更多
Adobe Photoshop Windows版
Adobe Photoshop Windows版
Windows

Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具,可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权,由 Creative Cloud 管理安装、更新与许

Adobe InDesign Windows版
Adobe InDesign Windows版
Windows

Adobe InDesign 是面向印刷与数字出版的专业页面排版工具,可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力,并能与 Photoshop、Illustrator

Adobe Illustrator Windows版
Adobe Illustrator Windows版
Windows

Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心,作品放大后仍能保持清晰,并提供画板、文字、渐变、图像描摹及精确变换等功能,适合品牌视觉、印刷物料、数字界面和商业插画创作。