当前位置:

首页 > 业界资讯 > 新技术推出,IDEA研究院发布T-Rex模型,让用户能够直接在图像上选择“Prompt”提示

新技术推出,IDEA研究院发布T-Rex模型,让用户能够直接在图像上选择“Prompt”提示

继火爆出圈的GroundedSAM之后,IDEA研究院团队携重磅新作归来:全新视觉提示(VisualPrompt)模型T-Rex,以图识图,开箱即用,开启开集检测新天地!拉框、检测、完成!在刚刚结束的2023IDEA大会上,IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋展示了基于视觉提示的目标检测新体验,并发布了全新视觉提示模型T-Rex的模型实验室(playground),InteractiveVisualPrompt(iVP),掀起现场一波试玩小高潮。在iVP上,用户可以亲自解锁“一图胜千言”

本文目录

    继火爆出圈的Grounded SAM之后,IDEA研究院团队携重磅新作归来:全新视觉提示(Visual Prompt)模型T-Rex,以图识图,开箱即用,新技术推出,IDEA研究院发布T-Rex模型,让用户能够直接在图像上选择“Prompt”提示开启开集检测新天地!

    拉框、检测、完成!在刚刚结束的2023IDEA大会上,IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋展示了基于视觉提示的目标检测新体验,并发布了全新视觉提示模型T-Rex的模型实验室(playground), Interactive Visual Prompt(iVP),掀起现场一波试玩小高潮。

    新技术推出,IDEA研究院发布T-Rex模型,让用户能够直接在图像上选择“Prompt”提示

    在iVP上,用户可以亲自解锁“一图胜千言”的prompting体验:在图片上标记感兴趣的对象,向模型提供视觉示例,模型随即检测出目标图片中与之相似的所有实例。整套流程交互便捷,只需几步操作就可轻松完成。

    新技术推出,IDEA研究院发布T-Rex模型,让用户能够直接在图像上选择“Prompt”提示

    IDEA研究院4月份发布的Grounded SAM (Grounding DINO + SAM) 曾在Github上火爆出圈,至今已狂揽11K星。有别于只支持文字提示的Grounded SAM,此次发布的T-Rex模型提供着重打造强交互的视觉提示功能。

    T-Rex具备极强的开箱即用特性,无需重新训练或微调,即可检测模型在训练阶段从未见过的物体。该模型不仅可应用于包括计数在内的所有检测类任务,还为智能交互标注场景提供新的解决方案。

    新技术推出,IDEA研究院发布T-Rex模型,让用户能够直接在图像上选择“Prompt”提示

    团队透露,研发视觉提示技术是源自对真实场景中痛点的观察。有合作方希望利用视觉模型对卡车上的货物数量进行统计,然而,仅通过文字提示,模型无法单独识别出每一个货物。其原因是工业场景中的物体在日常生活中较为罕见,难以用语言描述。在此情况下,视觉提示显然是更高效的方法。与此同时,直观的视觉反馈与强交互性,也有助于提升检测的效率与精准度。

    基于对实际使用需求的洞察,团队将T-Rex设计成可接受多个视觉提示的模型,且具备跨图提示能力。除了最基本的单轮提示模式,目前模型还支持以下三种进阶模式.

    新技术推出,IDEA研究院发布T-Rex模型,让用户能够直接在图像上选择“Prompt”提示

    • 多轮正例模式:适用于视觉提示不够精准造成漏检的场景
    • 正例+负例模式:适用于视觉提示带有二义性造成误检的场景
    • 跨图模式:适用于通过单张参考图提示检测他图的场景

    在同期发布的技术报告中,团队总结了T-Rex模型的四个主要特点:

    新技术推出,IDEA研究院发布T-Rex模型,让用户能够直接在图像上选择“Prompt”提示

    • 开放集:不受预定义类别限制,具有检测一切物体的能力
    • 视觉提示:利用视觉示例指定检测目标,克服罕见、复杂物体难以用文字充分表达的问题,提高提示效率
    • 直观的视觉反馈:提供边界框等直观视觉反馈,帮助用户高效评估检测结果
    • 交互性:用户便捷参与检测过程,对模型结果进行纠错

    研究团队指出,在目标检测场景中,视觉提示的加入能够补足文本提示的部分缺陷。未来,两者的结合将进一步释放CV技术在更多垂直领域的落地潜能。

    有关T-Rex模型的技术细节,请参考同期发布的技术报告。

    新技术推出,IDEA研究院发布T-Rex模型,让用户能够直接在图像上选择“Prompt”提示

    iVP模型实验室:https://deepdataspace.com/playground/ivp

    Github链接:trex-counting.github.io

    这项工作来自于IDEA研究院计算机视觉与机器人研究中心。该团队之前开源的目标检测模型DINO是第一个在COCO目标检测排行榜上取得第一名的DETR类模型;在Github上非常受欢迎的零样本检测器Grounding DINO和能够检测和分割任何物体的Grounded SAM,同样是该团队的作品

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    android软件 入门:从基础认知到上手使用
    android软件 入门:从基础认知到上手使用

    Android作为用户最多的移动操作系统,其开放性支持厂商定制与多元应用生态。用户可通过官方商店或第三方渠道获取APK格式应用,安装时需注意来源安全并手动授权。使用中应管理应用权限,定期清理软件,建议从官方下载并设置密码,以保护隐私与设备安全。

    java负载均衡 入门:从基础认知到上手使用
    java负载均衡 入门:从基础认知到上手使用

    负载均衡是提升系统可用性与性能的关键技术。本文介绍其核心概念,包括分发算法与健康检查机制。通过对比Nginx、SpringCloud等常见方案,阐述其适用场景。最后,以Nginx配置为例,演示如何快速搭建一个基础的负载均衡环境,帮助开发者理解并实践这一重要架构模式。

    ubuntu输入法 入门:从基础认知到上手使用
    ubuntu输入法 入门:从基础认知到上手使用

    Ubuntu默认仅支持英文输入,需用户自行安装中文输入法。主流框架有IBus(集成度高)和Fcitx(功能丰富),安装后需在系统设置中切换并重启。常见问题如快捷键冲突或应用内无法调出输入法,可通过调整设置或安装对应模块解决。掌握输入法配置是融入Ubuntu生态、实现个性化使用的关键一步。

    winphone 入门:从基础认知到上手使用
    winphone 入门:从基础认知到上手使用

    WindowsPhone以其独特的动态磁贴界面和与微软服务的深度整合而著称。本文旨在为新手提供一个清晰的入门指南,涵盖系统核心特性、基础操作设置以及应用生态的获取与使用。通过了解主屏幕定制、系统导航和账户关联,用户可以快速上手并高效利用这款移动操作系统,探索其简洁高效的设计哲学。

    Unity新手入门学习殿堂级知识详细讲解(图文)
    Unity新手入门学习殿堂级知识详细讲解(图文)

    Unity是一款跨平台游戏引擎,支持2D/3D、VR/AR及数字孪生开发。核心优势是可视化编辑器与脚本扩展,覆盖20多个平台。项目需保留Assets、Packages、ProjectSettings文件夹。场景中的GameObject依靠组件实现功能,Transform组件必备。图片建议使用PNG格式,注意碰撞层与显示层设置。

    使用 Go 语言构建高效的分布式机器视觉应用
    使用 Go 语言构建高效的分布式机器视觉应用

    随着技术的发展,人工智能技术在各个领域的应用越来越普及。其中,机器视觉技术的应用更是广泛,包括自动驾驶、人脸识别、视频监控等。在这些应用中,分布式机器视觉应用成为了当下最热门的技术之一。本文将介绍如何使用Go语言构建高效的分布式机器视觉应用。一、Go语言的优势Go语言是一门由Google开发的静态编程语言,具有高效、可靠、简洁等特点,非常适合用

    Go 语言入门指南:必备特性解析
    Go 语言入门指南:必备特性解析

    Go语言是一种现代编程语言,以其快速、高效和易用性著称。其必备特性包括:变量和常量:变量可重新赋值,而常量一旦声明就无法修改。数据类型:提供丰富的内置数据类型,包括数值、字符串、集合等。控制流:支持if-else、for循环和switch-case语句。函数:支持函数声明和调用。并发和Goroutine:提供Goroutine(轻量级线程),支持并发编程。

    Java基础入门到实战应用:常见问题解答
    Java基础入门到实战应用:常见问题解答

    入门Java:创建并运行简单程序,熟悉语法和编译过程。循环:使用for循环重复执行代码块。数组:声明数组类型、长度,并填充元素。方法:使用类封装代码块,传递参数调用方法。异常处理:使用try-catch块捕获并处理异常。实战应用:使用数组和循环计算并打印斐波那契数列。

    Golang 入门常见疑点消解宝典:小白的福音
    Golang 入门常见疑点消解宝典:小白的福音

    Go编程入门常见疑点消解:通过brew、apt或choco安装Go并检查版本;编写helloworld程序并运行;使用var关键字或简写定义变量;Go支持整数、浮点数和布尔等数据类型;函数是可重用的代码块,用于执行特定任务;错误可以用error类型变量表示,并在错误发生时返回。

    Golang 技术入门高能手册:化解新手困惑
    Golang 技术入门高能手册:化解新手困惑

    Go语言新手入门手册涵盖以下内容:安装与配置:下载工具链,设置环境变量,验证安装。基本语法:变量声明、函数声明、数据类型、控制流、数组和切片。并发编程:戈程、通道、同步原语。数据结构:map、slice、struct。实战案例:创建一个简单的Web服务器,在浏览器中运行。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。