告别逐一标注，一个提示实现批量图片分割，高效又准确
仅需一个任务描述，即可一键分割所有图片！SegmentationAnythingModel(SAM)的提出在图像分割领域引起了巨大的关注，其卓越的泛化性能引发了广泛的兴趣。然而，尽管如此，SAM仍面临一个无法回避的问题：为了使SAM能够准确地分割出目标物体的位置，每张图片都需要手动提供一个独特的视觉提示。如下图所示，即使点击的是同一物体（图(b)-(d)），微小位置变化都会导致分割结果的显著差异。这是因为视觉提示语义信息的缺乏，即使提供了想要分割的目标物体上，仍然可能引发歧义。框提示和涂鸦提示（图(e)(
仅需一个任务描述，即可一键分割所有图片！
Segmentation Anything Model (SAM)的提出在图像分割领域引起了巨大的关注，其卓越的泛化性能引发了广泛的兴趣。然而，尽管如此，SAM仍面临一个无法回避的问题：为了使 SAM 能够准确地分割出目标物体的位置，每张图片都需要手动提供一个独特的视觉提示。如下图所示，即使点击的是同一物体（图 (b) - (d)），微小位置变化都会导致分割结果的显著差异。这是因为视觉提示语义信息的缺乏，即使提供了想要分割的目标物体上，仍然可能引发歧义。框提示和涂鸦提示（图 (e) (f)）虽然提供了更具体的位置信息，但由于机器和人类对目标分割物体的理解存在偏差，结果常常与期望有所出入。
目前的一些方法，如SEEM和AV-SAM，通过提供更多模式的输入信息来引导模型更好地理解要分割的物体是什么。然而，尽管输入信息变得更加具体和多样化，但在实际场景中，每个无标注样本仍需要一个独特的提醒来作为指导，这是一种不切实际的需求。理想情况下，作者希望告知机器当前的无标注数据都是采集自于什么任务，然后希望机器能够批量地按照作者的要求对这些同一任务下的样本进行分割。然而，当前的SAM模型及其变体受到必须为每幅图手动提供提醒这一需求的限制，因此很难实现这一点。
伦敦大学玛丽女王学院的研究人员提出了一种称为GenSAM的分割方法，可以在只提供一个任务通用的文本提示条件下，将任务下的所有无标注样本进行有效地分割。
论文链接：https://arxiv.org/pdf/2312.07374.pdf
项目链接：https://lwpyh.github.io/GenSAM/
代码链接：https://github.com/jyLin8100/GenSAM/
问题设置
对于给定的分割任务，例如伪装样本分割，对于该任务下来自各个数据集的所有无标注样本，只提供一个任务描述：“the camouflaged animal” 作为这些图片的唯一提示 
。对于该任务下的任意一张图像 
，需要利用 
来有针对性地完成与任务相关的目标的分割。在这种情况下，目标是根据任务描述准确地分割图像中伪装的动物。模型需要理解并利用提供的任务描述来执行分割，而不依赖于手动提供每个图像的特定提示。
这种方法的优势在于，通过提供通用任务描述，可以批量地处理所有相关任务的无标注图片，而无需为每个图片手动提供具体的提示。这对于涉及大量数据的实际场景来说是一种更加高效和可扩展的方法。
GenSAM 的流程图如下所示：
方法介绍
为了解决这一问题，作者提出了 Generalizable SAM（GenSAM）模型，旨在摆脱像 SAM 这类提示分割方法对样本特定提示的依赖。具体而言，作者提出了一个跨模态思维链（Cross-modal Chains of Thought Prompting，CCTP）的概念，将一个任务通用的文本提示映射到该任务下的所有图片上，生成个性化的感兴趣物体和其背景的共识热力图，从而获得可靠的视觉提示来引导分割。此外，为了实现测试时自适应，作者进一步提出了一个渐进掩膜生成（Progressive Mask Generation，PMG）框架，通过迭代地将生成的热力图重新加权到原图上，引导模型对可能的目标区域进行从粗到细的聚焦。值得注意的是，GenSAM 无需训练，所有的优化都是在实时推理时实现的。
跨模态思维链
Cross-modal Chains of Thought Prompting (CCTP)
为基础构建了多个思维链，希望通过从多个角度获得共识来推理第 j 个链上前景物体的关键词 
和背景的关键词 
。为了克服这一问题，受到 CLIP Surgery 的启发，作者提出了一个 spatial CLIP 模块，在传统的 CLIP Transformer 基础上添加了一个由 K-K-V 自注意力机制构成的 Transformer 结构，将 VLM 在不同链路上推理得到的不可预测的关键词映射到同一张热力图上。这样，无法在语言层面求取共识的问题可以在视觉层面上得到解决。具体而言，作者通过 Spatial CLIP 的共识特征 
和 
分别获取不同链路上的前景和背景关键词。由于复杂场景中背景物体可能对结果产生干扰，作者通过用 
减去 
来排除这种干扰，得到最终的相似度热力图 
。$SI$ 通过上采样到原有图片的大小，即获得了定位任务相关目标位置的热力图 H 。其中，具有很高和很低置信度的点分别被视为正和负提示点，它们被筛选出来用于引导 SAM 进行分割。
渐进掩膜生成
Progressive Mask Generation (PMG)
可以通过下面的公式获得：
，其中 i ∈ 1,...,Iter。Iter 被设定为 6。为了消除由每次迭代中不一致提示引起的歧义的影响，每次迭代中获得的掩码被平均。最后，通过选择在所有迭代中最接近平均掩码的迭代结果来确定所选迭代 
：
就是 X 的最终分割结果。
实验
作者在伪装样本分割任务上的三个不同数据集上进行了实验，并分别与点监督和涂鸦 (scribble) 监督下进行训练后的方法进行了比较。GenSAM 不仅比基线方法相比取得了长足的进步，还再更好的监督信号和完全没有训练的情况下，取得了比弱监督方法类似甚至更好的性能。
作者还进一步进行了可视化实验，分析不同 iter 下的分割结果，首先是在 SAM 处理不佳的伪装样本分割任务上进行了评估：
此外，为了验证 GenSAM 的泛化性，还在阴影分割和透明物体分割上进行了可视化实验，均取得了出色的性能。
总结
总的来说，GenSAM 的提出使得像 SAM 这类提示分割方法能够摆脱对样本特定提示的依赖，这一能力为 SAM 的实际应用迈出了重要的一步。
伴随大模型迭代速度越来越快，训练集群规模越来越大，高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点，检查点（Checkpoint）系统在训练过程中负责状态的存储和恢复，已经成为克服训练故障、保障训练进度和提高训练效率的关键。近日，字节跳动豆包大模型团队与香港大学联合提出了ByteCheckpoint。这是一个PyTorch原生，兼容多个训练框架，支持Checkpoint的高效读写和自动重新切分的大模型Checkpointing系统，相比现有方法有显著性能提升和易用性优势。本文介绍了大模型训练提效中C
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本论文第一作者杜超群是清华大学自动化系2020级直博生。导师为黄高副教授。此前于清华大学物理系获理学学士学位。研究兴趣为不同数据分布上的模型泛化和鲁棒性研究，如长尾学习，半监督学习，迁移
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者是来自OpenSearch中国研发团队的机器学习负责人杨扬博士以及机器学习工程师耿志超和管聪。OpenSearch是一个由亚马逊云科技发起的纯开源搜索和实时分析引擎项目。目前软件
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com皮仁杰：香港科技大学博士三年级学生，师从张潼教授和周晓方教授。于2024年获得苹果奖学金。目前主要研究方向是多模态大语言模型和数据为中心的AI。张鉴殊：武汉大学本科三年级学生，目前在张潼
第一个针对「SegmentAnything」大模型的域适应策略来了！相关论文已被CVPR2024接收。引言大语言模型（LLMs）的成功激发了计算机视觉领域探索分割基础模型的兴趣。这些基础分割模型通常通过PromptEngineer来进行zero/few图像分割。其中，SegmentAnythingModel（SAM）是最先进的图像分割基础模型。图SAM在多个下游任务上表现不佳但是最近的研究表明，SAM在多种下游任务中并非具有很强的鲁棒性与泛化性，例如在医学图像、伪装物体、添加干扰的自然图像等领域表现较差。
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者来自浙江大学、上海人工智能实验室、香港中文大学、悉尼大学和牛津大学。作者列表：吴逸璇，王逸舟，唐诗翔，吴文灏，贺通，WanliOuyang，PhilipTorr，JianWu。其
颠覆过往大模型评测标准，最新、最全、最权威的测评数据集MR-Ben来了！这是继今年4月发布堪称GPT-4+DALL-E-3的王炸产品超强视觉语言模型Mini-Gemini后，港中文贾佳亚团队再次提出的极具代表性的作品。在MR-Ben的“监督”下，大模型不仅要像学生那样会答题，还要像老师那样会阅卷，真实的推理能力无所遁形。MR-Ben细致地评测了不少国内外一线的开源和闭源模型，如GPT4-Turbo、Cluade3.5-Sonnet、Mistral-Large、Zhipu-GLM4、
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文共同第一作者简介：张逸骅：密歇根州立大学计算机系博士三年级学生，师从SijiaLiu教授，主要研究方向是大模型的安全、隐私和效率问题。李平治：本科毕业于中国科学技术大学，将于2024
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com该文章的作者团队来自于哈工大社会计算与信息检索研究中心，作者团队构成：郑子豪、张梓涵、王泽鑫、付瑞吉、刘铭、王仲远、秦兵。多模态表示多模态命名实体识别，作为构建多模态知识图谱的一项基础而
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。指代分割(ReferringImageSegmentation，RIS)是一项极具挑战性的多模态任务，要求算法能够同时理解精细的人类语言和视觉图像信息，并将图像中句子所指代的物体进行像
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
