当前位置:

首页 > 业界资讯 > 用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

用视觉来做Prompt,会带来怎样的体验?只需在图中随意勾画一下,即可立即标出相同的类别!即便是那种GPT-4V都难搞定的数米粒的环节。只需要你手动拉一下框,就能找出所有米粒来。有了新的目标检测范式!刚刚结束的IDEA年度大会上,IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋展示了最新研究成果——基于视觉提示(VisualPrompt)模型T-Rex的内容需要进行改写整个流程交互,开箱即用,只需几步就可以完成。此前,Meta开源的SAM分割一切模型,直接让CV领域迎来了GPT-3时刻,但仍是基于文

本文目录

    用视觉来做Prompt,会带来怎样的体验?

    只需在图中随意勾画一下,即可立即标出相同的类别!

    用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

    即便是那种GPT-4V都难搞定的数米粒的环节。只需要你手动拉一下框,就能找出所有米粒来。

    用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

    有了新的目标检测范式!

    刚刚结束的IDEA年度大会上,IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋展示了最新研究成果——

    基于视觉提示(Visual Prompt)模型T-Rex的内容需要进行改写

    用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

    整个流程交互,开箱即用,只需几步就可以完成。

    此前,Meta开源的SAM分割一切模型,直接让CV领域迎来了GPT-3时刻,但仍是基于文本prompt的范式,在应对一些复杂、罕见场景就会比较难办。

    现在以图换图的方式,就能轻松迎刃而解。

    除此之外,整场大会也是干货满满,比如Think-on-Graph知识驱动大模型、开发者平台MoonBit月兔、AI科研神器ReadPaper更新2.0、SPU机密计算协处理器、可控人像视频生成平台HiveNet等等。

    最后,沈向洋还分享了过去几年时间花时间最多的一个项目:低空经济。

    我相信在低空经济相对成熟的时候,每天会有10万架无人机在深圳的天空中,而每天都会有百万架无人机起飞

    用视觉来做Prompt

    T-Rex除了基础的单轮提示功能外,还支持三种进阶模式

    • 多轮正例模式

    这类似于多轮对话,可以得出更加精确的结果,避免漏检的情况

    • 正例+负例模式

    适用于视觉提示带有二义性造成误检的场景。

    跨图模式可以重新设计和布局图表,以轻松地可视化数据和信息

    通过使用一张参考图来检测其他图像

    用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

    据介绍,T-Rex不受预定义类别限制,可利用视觉示例来指定检测目标,从而解决了某些物体难以用文字充分表达的问题,提高了提示效率。特别是在一些工业场景中的复杂组件等情况下,效果尤为明显

    用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

    除此之外,通过与用户交互的方式,也可以随时快速地评估检测结果,并进行纠错等。

    T-Rex的构成主要包括三个组件:图像编码器、提示编码器和框解码器

    用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

    这项工作来自IDEA研究院计算机视觉与机器人研究中心。

    该团队此前开源的目标检测模型DINO是首个在COCO目标检测上取得榜单第一的DETR类模型;在Github上大火(至今狂揽11K星)的零样本检测器Grounding DINO与能够检测、分割一切的Grounded SAM。更多技术细节可戳文末链接。

    整场大会干货满满

    除此之外,IDEA大会上还重点分享了几个研究成果。

    比如Think-on-Graph知识驱动大模型,简单来说就是将大模型与知识图谱结合。

    大模型擅长意图理解和自主学习,而知识图谱因其结构化的知识存储方式,更擅长逻辑链条推理。

    Think-on-Graph通过驱动大模型agent在知识图谱上“思考”,逐步搜索推理出最优答案(在知识图谱的关联实体上一步一步搜索推理)。每一步推理中,大模型都亲自参与,与知识图谱相互取长补短。

    用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

    MoonBit月兔,这是由Wasm驱动,专为云计算与边缘计算设计的开发者平台。

    该系统不仅提供了通用程序语言设计,还融合了编译器、构建系统、集成开发环境(IDE)、部署工具等模块,以提升开发体验和效率

    用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

    此前发布的科研神器ReadPaper也更新至2.0,发布会现场演示了阅读copilot、润色copilot等新功能。

    用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

    发布会最后,沈向洋发布《低空经济发展白皮书(2.0)——全数字化方案》,在其智能融合低空系统(Smart Integrated Lower Airspace System,SILAS)中,提出时空进程(Temporal Spatial Process)新概念。

    T-Rex链接:
    https://trex-counting.github.io/

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    使用IDEA编写jsp时EL表达式不起作用的问题及解决方法
    使用IDEA编写jsp时EL表达式不起作用的问题及解决方法

    IDEA中Maven项目JSP的EL表达式不解析,因web.xml指定Servlet2.3版本导致isELIgnored默认为true。在JSP页首添加即可解决;若仍无效,需检查JSTL依赖是否完整。

    视觉软件推荐:2026年高效实用的图像处理与计算机视觉工具大全
    视觉软件推荐:2026年高效实用的图像处理与计算机视觉工具大全

    在数字化浪潮席卷日常生活的今天,屏幕已成为我们获取信息、完成工作、消费娱乐的主要窗口。而视觉输入的质量,正从单纯的审美偏好,悄然升级为影响认知效率与工作效能的关键因素。下面就从几个核心场景出发,看看五款各有侧重的视觉工具,它们分别覆盖了内容消费、身份管理、专业观影、协同办公与创意表达——每款都经过了

    视觉软件大全:2026年高口碑视觉处理工具推荐
    视觉软件大全:2026年高口碑视觉处理工具推荐

    在数字影像领域,画质与内容质量始终是用户最关心的问题。面对网络上层出不穷的低分辨率、高噪点、色彩失真的视频内容,如何快速找到真正值得看的优质影像?这里整理了五款各具特色的视觉工具,从内容消费到创作辅助,覆盖了不同场景下的核心需求。 1、《视觉》 这个应用的核心思路很直接:把经过严格筛选的高品质影视资

    港中大突破:单GPU实现对话驱动多镜头好莱坞级视频生成能力提升
    港中大突破:单GPU实现对话驱动多镜头好莱坞级视频生成能力提升

    从单镜头到电影叙事:交互式AI视频生成的技术突破 这项由香港中文大学多媒体实验室、快手科技以及香港创新科技研究院联合开展的研究,已于2026年3月发表在计算机视觉顶级会议上,论文编号为arXiv:2603.25746v1。对技术细节感兴趣的读者,可以通过该编号查阅完整的学术论文。 当前的AI视频生成

    原生Steam Link应用登陆苹果Vision Pro头显,支持4K游戏串流
    原生Steam Link应用登陆苹果Vision Pro头显,支持4K游戏串流

    原生Steam Link应用登陆苹果Vision Pro头显,支持4K游戏串流 一条值得游戏玩家关注的消息来了。根据科技媒体9to5Mac的最新报道,Valve已经悄然推出了专门为visionOS打造的原生Steam Link应用测试版。这意味着,苹果Vision Pro的用户现在就可以通过Test

    IDEA配置编译输出路径方法分享
    IDEA配置编译输出路径方法分享

    正确配置IntelliJIDEA的编译输出路径可确保Java项目正常构建与运行。首先可通过ProjectStructure→Modules→Paths设置模块级输出路径,如./out/production/my-module和./out/test/my-module;也可在Project结构中统一设置全局输出目录,如./out/artifacts,供所有模块共享。对于Maven或Gradle项目,应优先在pom.xml或build.gradle中配置输出路径,避免与IDEA设置冲突,例如Maven默认使用

    IDE如何快速定位TODO注释
    IDE如何快速定位TODO注释

    如何在Idea中快速定位项目中的TODO注释?本文将为您提供一个简单而有效的方法,帮助您高效管理和处理项目中的待办事项。在Idea的菜单栏中,点击“View”,然后选择“ToolWindows”,您将看到一个选项列表。在这个列表中,选择“TODO”窗口,即可打开专门用于显示项目中所有TODO注释的窗口。通过这个窗口,您可以迅速浏览和定位项目中的所有待处理的TODO注释,从而提高工作效率,确保不会遗漏任何重要的任务。

    人形机器人首打通视觉与运动,UC 博士让宇树 G1 现场演示
    人形机器人首打通视觉与运动,UC 博士让宇树 G1 现场演示

    不用提前熟悉环境,一声令下,就能让宇树机器人坐在椅子上、桌子上、箱子上!还能直接解锁"跨过箱子"、"敲门"等任务~这是来自UC伯克利、卡内基梅隆大学等团队的最新研究成果LeVERB框架——基于模拟数据训练实现零样本部署,让人形机器人通过感知新环境,理解语言指令就能直接完成全身动作。传统人形机器人要么"能看懂指令却动不了"(缺乏全身控制能力),要么"只能机械执行动作却读不懂环境"(依赖人工预设动作库)。LeVERB首次打通了视觉语义理解与物理运动两者之间的断层,让机器人能像

    挖掘Go语言在Idea实现中的潜力
    挖掘Go语言在Idea实现中的潜力

    利用IntelliJIDEA的强大功能提升Go语言编程体验:安装Go插件,增强IDE的Go支持。利用代码格式化和自动补全,简化编码。使用调试和测试工具,轻松定位和解决错误。查看内置Go文档,方便了解代码含义。运用Go-toDefinition、查找用法和代码重构等实用功能,提高效率。

    探讨Go语言在实现Idea中的应用可能性
    探讨Go语言在实现Idea中的应用可能性

    Go语言在Idea实现中的应用潜力巨大,因为它具有并发性、跨平台兼容性和简洁语法。在并发编程方面,goroutine机制简化了并发任务的处理,提高了应用程序性能。它的跨平台兼容性使其可以轻松构建适用于不同平台的Idea。简洁语法则有助于快速开发和维护应用程序。在实际应用中,Go语言在Kubernetes、Docker和ClickHouse等项目中扮演着关键角色。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。