当前位置:

首页 > 硬件相关 > 京东推出全球首个全栈实时视频交互开源框架,拓展实景 AI 应用边界

京东推出全球首个全栈实时视频交互开源框架,拓展实景 AI 应用边界

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

立即下载
¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买

京东开源全球首个全栈实时视频交互框架JoyAI-VL-Interaction,让AI从“一问一答”进化为“边看边说”,实现主动判断、实时响应与智能体协作,在安防、看护等场景评测中胜率显著,拓展了实景AI应用边界。

本文目录

    聊聊AI最近的一个新进展,这件事挺有意思的。

    想象一下:一场火灾发生的瞬间,监控系统能立马发出警报;独居老人在家不小心摔倒,AI可以立刻通知远方的子女;视障人士出门,智能眼镜随时能描述周围环境、指明方向……这些场景,放在几年前还像科幻片,但在AI时代,可能很快就要走进日常生活了。

    最近,京东搞了个大动作,开源了全球首个全栈开源的实时视频视觉语言交互模型——JoyAI-VL-Interaction。这个模型最大的亮点是,它让大模型从“一问一答”的模式,进化到了“边看边说”。开发者借助这套框架,能快速搭建出可以持续观察、自主判断、即时响应的实景AI助手。这等于说,AI真正走出屏幕,开始在物理世界里发挥作用了。


    先澄清一个概念:现在的多模态模型,很多都停留在“一问一答”阶段——用户上传图片或视频,提出问题,模型再给出答案。这在图文问答、视频复盘、内容分析这些场景里确实够用,但一旦AI要介入真实世界,光聪明还不够,它得“在场”。真实世界的变化往往就发生在瞬息之间,一旦错过,就很难补救。

    JoyAI-VL-Interaction的核心,就是让AI像人一样持续“在场”:边看、边记、边判断,在关键时刻主动回应,或者选择性地把任务交给后台Agent。相比传统模型,它有三大突破:

    一是主动判断,而非被动回答。传统模型得等用户发问才开始处理画面,而JoyAI-VL-Interaction可以持续观察视频流,自主判断什么时候该说话,什么时候该沉默。比如你设置“裁判出示红牌时提醒我”,它就会一直盯着画面,事件发生时自动预警,根本不用你再追问一句“刚才发生了什么”。

    二是实时响应,而非事后总结。传统视频理解往往需要上传完整视频再做分析,但在安防预警、实时翻译、直播解说、操作指导等场景里,晚几秒,体验和价值就完全不同。JoyAI-VL-Interaction面向正在发生的视频流,画面一变,它就能跟上。

    三是适时委托智能体,同时保持观察和交互。这个能力特别有意思。当模型遇到生成代码、调用工具、复杂推理这类任务时,可以交给后台大模型或Agent。前台模型继续观察现场,后台模型处理复杂任务,结果返回后自然接回对话。这更像一套“前台实时助手+后台智能大脑”的协作系统:前台负责在场,后台负责干重活。这种模式,很可能开启AI与人类协作的新范式。

    更关键的是,京东这次开源的不是一个模型,而是一整套系统。

    在实时视频流中,JoyAI-VL-Interaction每秒都会做一次判断:继续观察、保持沉默,发现关键事件就主动回应,遇到复杂任务就交给后台Agent。这意味着,“什么时候说话”不再靠外部规则或定时触发,而是成为模型自己学会的能力。

    对实时交互来说,会说话很重要,会沉默也同样重要。一个好的AI助手,不该一直打扰用户,而应该知道什么时候该出现,什么时候该安静,以及什么时候自己解决,什么时候交由agent处理。

    很多开源模型只提供基础推理能力,开发者要真正用起来,还得自己处理视频接入、语音交互、记忆模块、前后端协同这些工程问题。而JoyAI-VL-Interaction开源的是完整技术栈,包括模型权重、交互数据集、训练方案和完整可部署系统。换句话说,开发者拿到手上就能用,大大缩短了从模型研究到真实场景落地的距离。

    它还支持摄像头、直播流、监控流等多种视频输入,以及语音输入输出、可视化界面、长期记忆、后台模型接口和vLLM部署方案。ASR、TTS、可视化界面、后台模型、外部工具和业务模块,都可以按需替换。开发者可以接入自己的语音服务、Agent、API、业务系统或前端界面。

    所以,JoyAI-VL-Interaction不是一个封闭的产品,而是一套开放框架。既可以用于研究,也可以改造成安防监控、老人小孩看护、直播讲解、电商导购、操作指导、AI眼镜、无障碍辅助等各类实时AI助手。

    在评测中,JoyAI-VL-Interaction覆盖了监控预警、实时计数、实时翻译、时间感知、直播导览解说等真实流式场景。在58个与视觉触发的主动响应、实时性高度相关的真人盲评案例中,它对比豆包视频通话助手,总体胜率77.6%;对比Gemini视频通话助手,总体胜率87.9%。尤其是在监控预警场景中,对两个基线均取得100%胜率。这背后,源于交互模型相较传统“一问一答”回合制模型的天然优势:自主交互性长在模型内部,而非依赖外部触发。


    今年以来,京东在模型基建上的进展确实不少。3月,开源基础大模型JoyAI-LLM Flash的Instruct版本,打破了大模型参数内卷的困局;4月,开源图像模型JoyAI-Image-Edit,空间理解与编辑能力达到世界一流水平;6月3日,又开源长视频生成模型JoyAI-Echo,推动长视频生成进入“所想即所得”时代。这些动作,标志着京东在上述领域已经进入全球第一梯队。

    从“一问一答”到“边看边记边回应”,从离线视频理解到实时流式交互,从屏幕里的AI到物理世界里的AI——JoyAI-VL-Interaction的全栈开源,是京东把AI从数字世界推向物理世界的又一步。

    京东深耕零售、物流、健康、工业等实体产业二十余年,拥有全球领先的物理世界运营网络,覆盖仓储、配送、门店、直播、客服、售后等海量真实场景。每一天,都有大量人、货、场的实时互动在发生。对AI来说,这些不是抽象的数据,而是进入物理世界的天然训练场与应用场,也为京东打造“全球最大物理世界运营中心”提供了坚实的保障。未来京东会不会让AI从千行百业走进千家万户?从这股势头来看,可能性不小。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 AI
    相关文章 更多
    讯飞听见怎么用AI写作辅助整理笔记 操作流程
    讯飞听见怎么用AI写作辅助整理笔记 操作流程

    在文稿页进AI写作,把录音稿作为素材勾选进去,选职场或公众号模板生成初稿,再用扩写、缩写、改写逐段打磨,最后导出Word。

    蛙蛙写作写好的小说怎么发布 先看平台规则再导出
    蛙蛙写作写好的小说怎么发布 先看平台规则再导出

    蛙蛙写作完成小说后,直接投稿容易遗漏平台规则、章节顺序和版本差异。本文讲发布条件、章节导出、投稿预览及线上线下版本管理,让最终提交内容更完整。

    讯飞听见思维导图怎么自动生成 查看位置在哪
    讯飞听见思维导图怎么自动生成 查看位置在哪

    打开转写稿进AI纪要,切到思维导图视图即可自动生成层级节点树,节点可改可拖;它挂在AI纪要下面,不在导出或设置里。

    讯飞听见会议纪要怎么自动生成 导出教程
    讯飞听见会议纪要怎么自动生成 导出教程

    打开转写稿点顶部AI纪要,自动生成摘要、章节要点和待办,每条可点回原文定位;右上角导出选Word或PDF,导出范围记得勾上原文。

    剪映专业版画质修复怎么用 老视频清晰化处理
    剪映专业版画质修复怎么用 老视频清晰化处理

    选中视频段,右侧属性栏最右的「AI 效果」里选超清画质,挑强度后云端处理;锐化和特效补不回分辨率,源文件压缩过重时效果有限。

    AI桌面浏览器网页打不开怎么办 缓存清理排查方法
    AI桌面浏览器网页打不开怎么办 缓存清理排查方法

    先分范围:全部打不开查网络与代理,单个打不开清缓存换浏览器;扩展误杀也会导致白屏,临时停用可验证。

    AI桌面浏览器AI图像处理支持哪些功能 老照片修复怎么用
    AI桌面浏览器AI图像处理支持哪些功能 老照片修复怎么用

    四类:模糊修复、老照片修复、漫画头像、去水印消除;老照片上传后自动去噪补划痕,缺失五官无法还原。

    AI桌面浏览器新标签页小组件怎么添加 天气热搜配置
    AI桌面浏览器新标签页小组件怎么添加 天气热搜配置

    新标签页找「添加小组件」按钮勾选卡片,可拖动位置;天气需定位权限、日历需日程权限,没授权会显示空白。

    AI桌面浏览器内核是什么 Chromium单核怎么确认
    AI桌面浏览器内核是什么 Chromium单核怎么确认

    基本都是 Chromium 单核,在「关于」里能看到具体内核版本;单核更轻快,但只支持老 IE 的站点需另找办法。

    AI桌面浏览器热搜榜功能在哪看 一键查看设置
    AI桌面浏览器热搜榜功能在哪看 一键查看设置

    侧边栏工具列表里的「热搜榜」即实时榜单,点条目带关键词跳搜索结果;可在侧边栏设置里取消勾选。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?