北航打破模态壁垒，跨可见光-红外模态的通用物理对抗打击方法来了
近年来，对视觉感知系统安全性评估的研究已经逐渐深入，已经有研究人员成功地开发了基于眼镜、贴纸、衣物等不同载体的可见光模态安全评估技术，并且还有一些对红外模态的新尝试。然而，这些技术都只能应用于单一的模态随着人工智能技术的发展，可见光-热红外成像技术已广泛应用于治安监控、自动驾驶等安全关键任务中。可见光成像在白天能提供丰富的纹理信息，而红外成像则能在夜间清晰显示目标的热辐射分布。二者结合使用，视觉感知系统可以实现24小时全覆盖，并且不受环境限制，具备许多优势。因此，需要研究针对多模态视觉感知系统的统一安全评
近年来，对视觉感知系统安全性评估的研究已经逐渐深入，已经有研究人员成功地开发了基于眼镜、贴纸、衣物等不同载体的可见光模态安全评估技术，并且还有一些对红外模态的新尝试。然而，这些技术都只能应用于单一的模态
随着人工智能技术的发展，可见光-热红外成像技术已广泛应用于治安监控、自动驾驶等安全关键任务中。可见光成像在白天能提供丰富的纹理信息，而红外成像则能在夜间清晰显示目标的热辐射分布。二者结合使用，视觉感知系统可以实现24小时全覆盖，并且不受环境限制，具备许多优势。因此，需要研究针对多模态视觉感知系统的统一安全评估方法
然而，实现多模态评估极具挑战性。首先，在不同成像机制下打击方法通用难。以前的方法都分别基于特定目标模态成像特点提出，在其他模态下很难起到作用。再者，平衡隐身性能、制作成本和灵活应用难。对于可见光和更难的红外模态双重有效已是不易，实现低成本便捷制作与使用更是难上加难。
面对诸多挑战，来自北航人工智能研究院的研究者挖掘可见光 - 红外模态间通用的形状属性，创新性地提出 「跨模态通用对抗补丁」，实现可见光 - 红外同步隐身。其遴选易获取、成本低、隔热性能优异的材料制作便捷贴片，即拆即用，在填补当前物理世界可见光 - 红外多模态检测系统鲁棒性评估技术缺失的同时，兼顾物理实现的简易性与即时性。实验证明了该方法在不同检测模型与模态下的有效性，以及多场景下的泛化性。目前，该论文已被 ICCV 2023 接收。
请点击以下链接查看论文：https://arxiv.org/abs/2307.07859
代码链接：https://github.com/Aries-iai/Cross-modal_Patch_Attack
技术要点
该研究以进化算法为基础框架，从形状建模、形状优化和模态平衡三个角度进行方案设计和效果改进。具体流程如下图所示：
1. 基于样条插值的多锚点形状建模
对于基础形状建模部分，研究人员设计了一种点优化建模新范式。通过改变点的坐标，可以直接调整补丁的形状，而不受方向、距离等限制的影响。这样有效地增大了补丁形状的搜索空间。为了确保形状的自然性，研究人员还利用了样条插值方法来实现平滑连接，使得样条更紧密地跟随控制点
2. 边界限定形状优化算法基于差分进化的原理
实现打击需要有效的优化手段，为此研究人员从时间成本、实际效果等角度考量，以进化算法作为基本框架，并从边界设定、适应度函数两个角度改进：
需要进行改写的内容是：（1）边界设定：通过对锚点进行边界设定，可以提高形变的有效性，降低时间成本。其具体设定如下：不会在曲线段内形成循环或自交；在曲线段内不容易出现尖点；不会出现在无效区域
以锚点
为例，下图蓝色部分为边界设定图例，橙色部分为错误实例：
关于锚点
的边界判定 
数学表达如下所示：
（2）适应度函数：本研究不同于以往仅针对单一模态进行打击评估的工作，而是聚焦于可见光-红外两个模态，并且意识到两个模态之间存在天然的平衡效果差异问题。为了避免过度优化单一模态而忽视另一模态，研究人员提出了一种创新的跨模态适应度函数，该函数基于检测器的置信度得分感知，旨在鼓励探索成功的方向并平衡两个模态之间的效果差异。最终，根据评分进行优胜劣汰。为了考虑到初始阶段和后期阶段的打击难度差异，该函数使用指数函数代替线性函数，以更加凸显不同阶段的打击进度差异性
算法迭代该探索过程直至两模态都打击成功，输出最优形状策略。完整优化流程如下所示：
实验结果
实验一：针对不同系列检测器的跨模态打击性能验证
实验二：针对形状的消融实验
实验三：对于跨模态适应度函数的消融实验
实验四：物理实施偏差下的方法鲁棒性验证
实验五：不同物理条件下的方法有效性验证
在不同的角度、距离、姿势和场景下进行性能验证，并将结果可视化呈现
总结
本研究的核心是自然形状优化，并结合形变补丁和跨模态打击，设计了一种物理环境下可见光 - 红外多模态鲁棒性评估方法。该方法可以评估多模态（可见光 - 红外）目标检测系统的鲁棒性，并根据评估结果有效地修正检测器模型，同时提高可见光和红外两种模态下目标图像检测的准确性。该方法在物理环境中实施和应用，为多模态检测系统的鲁棒性评估和改进做出了贡献
在开始之前，先确认硬件已经就位：关机，把新硬盘装上，再重新开机。开机后第一件事，就是检查系统是否识别到了新设备。用 dmesg | grep ad2 看一眼，如果输出类似 ad2: 9765MB [19841/16/63] at ata1-master UDMA33 这样的信息，说明新硬盘已经被成功
7月25日消息 天文学界最近有一项挺有意思的发现。根据中国科学院发布的信息，由南京天文光学技术研究所研究员王靓团队，联合国家天文台研究员罗阿理等人，利用LAMOST望远镜第十次公开的海量光谱数据，再结合多种测光数据，成功揪出了两颗全新的共生星，同时还锁定了12颗“仅吸积共生星”的候选体。这成果可不只
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
在千兆宽带、5G通信与云服务深度普及的2026年，大众普遍以为超大文件传输已步入“秒级时代”，但现实远未达到这般畅快。当面对数TB乃至数十TB级别的庞大数据集时，当下最可靠、最迅捷且兼顾安全性的传输方案，依然是“物理位移”——依靠人工携带存储介质完成跨地域交付。一位来自河南信阳的用户讲述了真实经历：他曾需将4TB资料从信阳送往郑州，首次尝试纯网络传输，系统预估总耗时近72小时；最终改用专人驱车运送，单程仅需约2.5小时，当天即完成取件与送达，整体效率显著超越线上方式。该实例迅速引发热议，多位资深IT博主随
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
