当前位置:

首页 > 用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

用视觉来做Prompt,会带来怎样的体验?只需在图中随意勾画一下,即可立即标出相同的类别!即便是那种GPT-4V都难搞定的数米粒的环节。只需要你手动拉一下框,就能找出所有米粒来。有了新的目标检测范式!刚刚结束的IDEA年度大会上,IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋展示了最新研究成果——基于视觉提示(VisualPrompt)模型T-Rex的内容需要进行改写整个流程交互,开箱即用,只需几步就可以完成。此前,Meta开源的SAM分割一切模型,直接让CV领域迎来了GPT-3时刻,但仍是基于文

用视觉来做Prompt,会带来怎样的体验?

只需在图中随意勾画一下,即可立即标出相同的类别!

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

即便是那种GPT-4V都难搞定的数米粒的环节。只需要你手动拉一下框,就能找出所有米粒来。

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

有了新的目标检测范式!

刚刚结束的IDEA年度大会上,IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋展示了最新研究成果——

基于视觉提示(Visual Prompt)模型T-Rex的内容需要进行改写

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

整个流程交互,开箱即用,只需几步就可以完成。

此前,Meta开源的SAM分割一切模型,直接让CV领域迎来了GPT-3时刻,但仍是基于文本prompt的范式,在应对一些复杂、罕见场景就会比较难办。

现在以图换图的方式,就能轻松迎刃而解。

除此之外,整场大会也是干货满满,比如Think-on-Graph知识驱动大模型、开发者平台MoonBit月兔、AI科研神器ReadPaper更新2.0、SPU机密计算协处理器、可控人像视频生成平台HiveNet等等。

最后,沈向洋还分享了过去几年时间花时间最多的一个项目:低空经济

我相信在低空经济相对成熟的时候,每天会有10万架无人机在深圳的天空中,而每天都会有百万架无人机起飞

用视觉来做Prompt

T-Rex除了基础的单轮提示功能外,还支持三种进阶模式

  • 多轮正例模式

这类似于多轮对话,可以得出更加精确的结果,避免漏检的情况

  • 正例+负例模式

适用于视觉提示带有二义性造成误检的场景。

跨图模式可以重新设计和布局图表,以轻松地可视化数据和信息

通过使用一张参考图来检测其他图像

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

据介绍,T-Rex不受预定义类别限制,可利用视觉示例来指定检测目标,从而解决了某些物体难以用文字充分表达的问题,提高了提示效率。特别是在一些工业场景中的复杂组件等情况下,效果尤为明显

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

除此之外,通过与用户交互的方式,也可以随时快速地评估检测结果,并进行纠错等。

T-Rex的构成主要包括三个组件:图像编码器、提示编码器和框解码器

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

这项工作来自IDEA研究院计算机视觉与机器人研究中心。

该团队此前开源的目标检测模型DINO是首个在COCO目标检测上取得榜单第一的DETR类模型;在Github上大火(至今狂揽11K星)的零样本检测器Grounding DINO与能够检测、分割一切的Grounded SAM。更多技术细节可戳文末链接。

整场大会干货满满

除此之外,IDEA大会上还重点分享了几个研究成果。

比如Think-on-Graph知识驱动大模型,简单来说就是将大模型与知识图谱结合。

大模型擅长意图理解和自主学习,而知识图谱因其结构化的知识存储方式,更擅长逻辑链条推理。

Think-on-Graph通过驱动大模型agent在知识图谱上“思考”,逐步搜索推理出最优答案(在知识图谱的关联实体上一步一步搜索推理)。每一步推理中,大模型都亲自参与,与知识图谱相互取长补短。

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

MoonBit月兔,这是由Wasm驱动,专为云计算与边缘计算设计的开发者平台。

该系统不仅提供了通用程序语言设计,还融合了编译器、构建系统、集成开发环境(IDE)、部署工具等模块,以提升开发体验和效率

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

此前发布的科研神器ReadPaper也更新至2.0,发布会现场演示了阅读copilot、润色copilot等新功能。

用视觉来做Prompt!沈向洋展示IDEA研究院新模型,无需训练或微调,开箱即用

发布会最后,沈向洋发布《低空经济发展白皮书(2.0)——全数字化方案》,在其智能融合低空系统(Smart Integrated Lower Airspace System,SILAS)中,提出时空进程(Temporal Spatial Process)新概念。

T-Rex链接:
https://trex-counting.github.io/

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
相关文章 更多
使用IDEA编写jsp时EL表达式不起作用的问题及解决方法
使用IDEA编写jsp时EL表达式不起作用的问题及解决方法

IDEA中Maven项目JSP的EL表达式不解析,因web.xml指定Servlet2.3版本导致isELIgnored默认为true。在JSP页首添加即可解决;若仍无效,需检查JSTL依赖是否完整。

IDEA配置编译输出路径方法分享
IDEA配置编译输出路径方法分享

正确配置IntelliJIDEA的编译输出路径可确保Java项目正常构建与运行。首先可通过ProjectStructure→Modules→Paths设置模块级输出路径,如./out/production/my-module和./out/test/my-module;也可在Project结构中统一设置全局输出目录,如./out/artifacts,供所有模块共享。对于Maven或Gradle项目,应优先在pom.xml或build.gradle中配置输出路径,避免与IDEA设置冲突,例如Maven默认使用

IDE如何快速定位TODO注释
IDE如何快速定位TODO注释

如何在Idea中快速定位项目中的TODO注释?本文将为您提供一个简单而有效的方法,帮助您高效管理和处理项目中的待办事项。在Idea的菜单栏中,点击“View”,然后选择“ToolWindows”,您将看到一个选项列表。在这个列表中,选择“TODO”窗口,即可打开专门用于显示项目中所有TODO注释的窗口。通过这个窗口,您可以迅速浏览和定位项目中的所有待处理的TODO注释,从而提高工作效率,确保不会遗漏任何重要的任务。

人形机器人首打通视觉与运动,UC 博士让宇树 G1 现场演示
人形机器人首打通视觉与运动,UC 博士让宇树 G1 现场演示

不用提前熟悉环境,一声令下,就能让宇树机器人坐在椅子上、桌子上、箱子上!还能直接解锁"跨过箱子"、"敲门"等任务~这是来自UC伯克利、卡内基梅隆大学等团队的最新研究成果LeVERB框架——基于模拟数据训练实现零样本部署,让人形机器人通过感知新环境,理解语言指令就能直接完成全身动作。传统人形机器人要么"能看懂指令却动不了"(缺乏全身控制能力),要么"只能机械执行动作却读不懂环境"(依赖人工预设动作库)。LeVERB首次打通了视觉语义理解与物理运动两者之间的断层,让机器人能像

Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

比特现金未来:可扩展性与支付潜力
比特现金未来:可扩展性与支付潜力

比特现金(BCH)的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持,比特现金有望在多个领域取得显著发展,成为一种多功能且广泛使用的加密货币。

ACH总量10亿,价值与用途详解
ACH总量10亿,价值与用途详解

ACH 总共发行了 10 亿枚,用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准,采用 PoS 机制,可通过私募、公募和生态系统分配获取,其价值受服务需求、实用性和市场趋势影响,可在币安、火币等交易所购买。

Coinbase Pro设置指南:下载、登录与自定义
Coinbase Pro设置指南:下载、登录与自定义

Coinbase Pro 设置步骤:下载并安装软件后,打开并登录,点击右上角齿轮图标进入“首选项”。在首选项中,你可以调整界面、安全、通知、交易和API设置,完成后点击“保存”按钮确认更改。

IoTeX等基础设施如何赋能IoT生态
IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络,确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用,物联网生态系统实现了去中心化、安全、互操作性和自治,充分释放了物联网的潜力。

DOGE发行价多少
DOGE发行价多少

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。