TRIBE在多真实场景下取得SOTA，确保测试时领域适应的鲁棒性
测试时领域适应（Test-TimeAdaptation）的目的是使源域模型适应推理阶段的测试数据，在适应未知的图像损坏领域取得了出色的效果。然而，当前许多方法都缺乏对真实世界场景中测试数据流的考虑，例如：测试数据流应当是时变分布（而非传统领域适应中的固定分布）测试数据流可能存在局部类别相关性（而非完全独立同分布采样）测试数据流在较长时间里仍表现全局类别不平衡近日，华南理工、A*STAR和港中大（深圳）团队通过大量实验证明，这些真实场景下的测试数据流会对现有方法带来巨大挑战。该团队认为，最先进方法的失败首先
测试数据流应当是时变分布（而非传统领域适应中的固定分布） 测试数据流可能存在局部类别相关性（而非完全独立同分布采样） 测试数据流在较长时间里仍表现全局类别不平衡
深度神经网络的成功依赖于将训练好的模型推广到 i.i.d. 测试域的假设。然而，在实际应用中，分布外测试数据的鲁棒性，如不同的照明条件或恶劣天气造成的视觉损坏，是一个需要关注的问题。最近的研究显示，这种数据损失可能会严重影响预先训练好的模型的性能。重要的是，在部署前，测试数据的损坏（分布）通常是未知的，有时也不可预测。
因此，调整预训练模型以适应推理阶段的测试数据分布是一个值得价值的新课题，即测试时领域适 (TTA)。此前，TTA 主要通过分布对齐 (TTAC++, TTT++)，自监督训练 (AdaContrast) 和自训练 (Conjugate PL) 来实现，这些方法在多种视觉损坏测试数据中都带来了显著的稳健提升。
现有的测试时领域适应（TTA）方法通常基于一些严格的测试数据假设，如稳定的类别分布、样本服从独立同分布采样以及固定的领域偏移。这些假设启发了许多研究者去探究真实世界中的测试数据流，如 CoTTA、NOTE、SAR 和 RoTTA 等。
最近，对真实世界的 TTA 研究，如 SAR（ICLR 2023）和 RoTTA（CVPR 2023）主要关注局部类别不平衡和连续的领域偏移对 TTA 带来的挑战。局部类别不平衡通常是由于测试数据并非独立同分布采样而产生的。直接不加区分的领域适应将导致有偏置的分布估计。
最近有研究提出了指数式更新批归一化统计量（RoTTA）或实例级判别更新批归一化统计量（NOTE）来解决这个挑战。其研究目标是超越局部类不平衡的挑战，考虑到测试数据的总体分布可能严重失衡，类的分布也可能随着时间的推移而变化。在下图 1 中可以看到更具挑战性的场景示意图。
随着时间的推移，领域转移在现实世界的测试数据中经常发生，例如照明 / 天气条件的逐渐变化。这给现有的 TTA 方法带来了另一个挑战，TTA 模型可能由于过度适应到领域 A 而当从领域 A 切换到领域 B 时出现矛盾。
为了缓解过度适应到某个短时领域，CoTTA 随机还原参数，EATA 用 fisher information 对参数进行正则化约束。尽管如此，这些方法仍然没有明确解决测试数据领域中层出不穷的挑战。
本文在两分支自训练架构的基础上引入了一个锚定网络（Anchor Network）组成三网络自训练模型（Tri-Net Self-Training）。锚定网络是一个冻结的源模型，但允许通过测试样本调整批归一化层中的统计量而非参数。并提出了一个锚定损失利用锚定网络的输出来正则化教师模型的输出以避免网络过度适应到局部分布中。
最终模型结合了三网络自训练模型和平衡的批归一化层（TRI-net self-training with BalancEd normalization, TRIBE）在较为宽泛的的可调节学习率的范围里表现出一致的优越性能。在四个数据集和多种真实世界数据流下显示了大幅性能提升，展示了独一档的稳定性和鲁棒性。
介绍真实世界下的 TTA 协议； 平衡的批归一化； 三网络自训练模型。
或伪标签准确率较低 (accuracy<0.5) 的情况下，以上的类别独立的更新策略效果没那么明显。因此，他们进一步用超参数 γ 来融合类别无关更新策略和类别独立更新策略，如下式：
下图展示了 TRIBE 网络的框架图：
伴随大模型迭代速度越来越快，训练集群规模越来越大，高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点，检查点（Checkpoint）系统在训练过程中负责状态的存储和恢复，已经成为克服训练故障、保障训练进度和提高训练效率的关键。近日，字节跳动豆包大模型团队与香港大学联合提出了ByteCheckpoint。这是一个PyTorch原生，兼容多个训练框架，支持Checkpoint的高效读写和自动重新切分的大模型Checkpointing系统，相比现有方法有显著性能提升和易用性优势。本文介绍了大模型训练提效中C
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本论文第一作者杜超群是清华大学自动化系2020级直博生。导师为黄高副教授。此前于清华大学物理系获理学学士学位。研究兴趣为不同数据分布上的模型泛化和鲁棒性研究，如长尾学习，半监督学习，迁移
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者是来自OpenSearch中国研发团队的机器学习负责人杨扬博士以及机器学习工程师耿志超和管聪。OpenSearch是一个由亚马逊云科技发起的纯开源搜索和实时分析引擎项目。目前软件
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com皮仁杰：香港科技大学博士三年级学生，师从张潼教授和周晓方教授。于2024年获得苹果奖学金。目前主要研究方向是多模态大语言模型和数据为中心的AI。张鉴殊：武汉大学本科三年级学生，目前在张潼
仅需一个任务描述，即可一键分割所有图片！SegmentationAnythingModel(SAM)的提出在图像分割领域引起了巨大的关注，其卓越的泛化性能引发了广泛的兴趣。然而，尽管如此，SAM仍面临一个无法回避的问题：为了使SAM能够准确地分割出目标物体的位置，每张图片都需要手动提供一个独特的视觉提示。如下图所示，即使点击的是同一物体（图(b)-(d)），微小位置变化都会导致分割结果的显著差异。这是因为视觉提示语义信息的缺乏，即使提供了想要分割的目标物体上，仍然可能引发歧义。框提示和涂鸦提示（图(e)(
第一个针对「SegmentAnything」大模型的域适应策略来了！相关论文已被CVPR2024接收。引言大语言模型（LLMs）的成功激发了计算机视觉领域探索分割基础模型的兴趣。这些基础分割模型通常通过PromptEngineer来进行zero/few图像分割。其中，SegmentAnythingModel（SAM）是最先进的图像分割基础模型。图SAM在多个下游任务上表现不佳但是最近的研究表明，SAM在多种下游任务中并非具有很强的鲁棒性与泛化性，例如在医学图像、伪装物体、添加干扰的自然图像等领域表现较差。
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者来自浙江大学、上海人工智能实验室、香港中文大学、悉尼大学和牛津大学。作者列表：吴逸璇，王逸舟，唐诗翔，吴文灏，贺通，WanliOuyang，PhilipTorr，JianWu。其
颠覆过往大模型评测标准，最新、最全、最权威的测评数据集MR-Ben来了！这是继今年4月发布堪称GPT-4+DALL-E-3的王炸产品超强视觉语言模型Mini-Gemini后，港中文贾佳亚团队再次提出的极具代表性的作品。在MR-Ben的“监督”下，大模型不仅要像学生那样会答题，还要像老师那样会阅卷，真实的推理能力无所遁形。MR-Ben细致地评测了不少国内外一线的开源和闭源模型，如GPT4-Turbo、Cluade3.5-Sonnet、Mistral-Large、Zhipu-GLM4、
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文共同第一作者简介：张逸骅：密歇根州立大学计算机系博士三年级学生，师从SijiaLiu教授，主要研究方向是大模型的安全、隐私和效率问题。李平治：本科毕业于中国科学技术大学，将于2024
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com该文章的作者团队来自于哈工大社会计算与信息检索研究中心，作者团队构成：郑子豪、张梓涵、王泽鑫、付瑞吉、刘铭、王仲远、秦兵。多模态表示多模态命名实体识别，作为构建多模态知识图谱的一项基础而
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
