哈工大南洋理工提出全球首个「多模态DeepFake检测定位」模型：让AIGC伪造无处可藏
由于如StableDiffusion等视觉生成模型的快速发展，高保真度的人脸图片可以自动化地伪造，制造越来越严重的DeepFake问题。随着如ChatGPT等大型语言模型的出现，大量假本文也可以容易地生成并恶意地传播虚假信息。为此，一系列单模态检测模型被设计出来，去应对以上AIGC技术在图片和文本模态的伪造。但是这些方法无法较好应对新型伪造场景下的多模态假新闻篡改。具体而言，在多模态媒体篡改中，各类新闻报道的图片中重要人物的人脸（如图1中法国总统人脸）被替换，文字中关键短语或者单词被篡改（如图1
由于如Stable Diffusion等视觉生成模型的快速发展，高保真度的人脸图片可以自动化地伪造，制造越来越严重的DeepFake问题。
随着如ChatGPT等大型语言模型的出现，大量假本文也可以容易地生成并恶意地传播虚假信息。
为此，一系列单模态检测模型被设计出来，去应对以上AIGC技术在图片和文本模态的伪造。但是这些方法无法较好应对新型伪造场景下的多模态假新闻篡改。
具体而言，在多模态媒体篡改中，各类新闻报道的图片中重要人物的人脸（如图 1 中法国总统人脸）被替换，文字中关键短语或者单词被篡改（如图 1 中正面短语「is welcome to」被篡改为负面短语「is forced to resign」）。
这将改变或掩盖新闻关键人物的身份，以及修改或误导新闻文字的含义，制造出互联网上大规模传播的多模态假新闻。
图1. 本文提出检测并定位多模态媒体篡改任务（DGM4）。与现有的单模态DeepFake检测任务不同，DGM4不仅对输入图像-文本对预测真假二分类，也试图检测更细粒度的篡改类型和定位图像篡改区域和文本篡改单词。除了真假二分类之外，此任务对篡改检测提供了更全面的解释和更深入的理解。
表1: 所提出的DGM4与现有的图像和文本伪造检测相关任务的比较
检测并定位多模态媒体篡改任务
为了解此新挑战，来自哈工大（深圳）和南洋理工的研究人员提出了检测并定位多模态媒体篡改任务（DGM4）、构建并开源了DGM4数据集，同时提出了多模态层次化篡改推理模型。目前，该工作已被CVPR 2023收录。
论文地址：https://arxiv.org/abs/2304.02556
GitHub：https://github.com/rshaojimmy/MultiModal-DeepFake
项目主页：https://rshaojimmy.github.io/Projects/MultiModal-DeepFake
如图1和表1所示，检测并定位多模态媒体篡改任务（Detecting and Grounding Multi-Modal Media Manipulation （DGM4））和现有的单模态篡改检测的区别在于：
1）不同于现有的DeepFake图像检测与伪造文本检测方法只能检测单模态伪造信息，DGM4要求同时检测在图像-文本对中的多模态篡改；
2）不同于现有DeepFake检测专注于二分类，DGM4进一步考虑了定位图像篡改区域和文本篡改单词。这要求检测模型对于图像-文本模态间的篡改进行更全面和深入的推理。
检测并定位多模态媒体篡改数据集
为了支持对DGM4研究，如图2所示，本工作贡献了全球首个检测并定位多模态媒体篡改（DGM4）数据集。
图2. DGM4数据集
DGM4数据集调查了4种篡改类型，人脸替换篡改（FS）、人脸属性篡改（FA）、文本替换篡改（TS）、文本属性篡改（TA）。
图2展示了 DGM4 整体统计信息，包括（a） 篡改类型的数量分布；（b） 大多数图像的篡改区域是小尺寸的，尤其是对于人脸属性篡改；（c） 文本属性篡改的篡改单词少于文本替换篡改；（d）文本情感分数的分布；（e）每种篡改类型的样本数。
此数据共生成23万张图像-文本对样本，包含了包括77426个原始图像-文本对和152574个篡改样本对。篡改样本对包含66722个人脸替换篡改，56411个人脸属性篡改，43546个文本替换篡改和18588个文本属性篡改。
多模态层次化篡改推理模型
本文认为多模态的篡改会造成模态间细微的语义不一致性。因此通过融合与推理模态间的语义特征，检测到篡改样本的跨模态语义不一致性，是本文应对DGM4的主要思路。
图3. 提出的多模态层次化篡改推理模型HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER)
基于此想法，如图3所示，本文提出了多模态层次化篡改推理模型HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER)。
此模型建立在基于双塔结构的多模态语义融合与推理的模型架构上，并将多模态篡改的检测与定位细粒度层次化地通过浅层与深层篡改推理来实现。
具体而言，如图3所示，HAMMER模型具有以下两个特点：
1）在浅层篡改推理中，通过篡改感知的对比学习（Manipulation-Aware Contrastive Learning）来对齐图像编码器和文本编码器提取出的图像和文本单模态的语义特征。同时将单模态嵌入特征利用交叉注意力机制进行信息交互，并设计局部块注意力聚合机制（Local Patch Attentional Aggregation）来定位图像篡改区域；
2）在深层篡改推理中，利用多模态聚合器中的模态感知交叉注意力机制进一步融合多模态语义特征。在此基础上，进行特殊的多模态序列标记（multi-modal sequence tagging）和多模态多标签分类（multi-modal multi-label classification）来定位文本篡改单词并检测更细粒度的篡改类型。
实验结果
如下图，实验结果表明研究团队提出的HAMMER与多模态和单模态检测方法相比，都能更准确地检测并定位多模态媒体篡改。
图4. 多模态篡改检测和定位结果可视化
图5. 关于篡改文本的模型篡改检测注意力可视化
图4提供了一些多模态篡改检测和定位的可视化结果，说明了HAMMER可以准确地同时进行篡改检测与定位任务。图5提供了关于篡改单词的模型注意力可视化结果，进一步展示了HAMMER是通过关注与篡改文本语义不一致性的图像区域来进行多模态篡改检测和定位。
总结
- 本工作提出了一个新的研究课题：检测并定位多模态媒体篡改任务，来应对多模态假新闻。
- 本工作贡献了首个大规模的检测并定位多模态媒体篡改数据集，并提供了详细丰富的篡改检测与定位的标注。团队相信它可以很好地帮助未来多模态假新闻检测的研究。
- 本工作提出了一个强大的多模态层次化篡改推理模型作为此新课题很好的起始方案。
本工作的代码和数据集链接都已分享在本项目的GitHub上，欢迎大家Star这个GitHub Repo， 使用DGM4数据集和HAMMER来研究DGM4问题。DeepFake领域不只有图像单模态检测，还有更广阔的多模态篡改检测问题亟待大家解决！
文本 Unicode 码加密与解密：一个简单实用的工具 今天我们来聊聊一种有趣的文本加密方式——Unicode码加密与解密。这个工具利用Unescape脚本的转换机制，能够将普通文本转换成看似乱码的Unicode编码，实现信息的隐藏与保护。 主要用途 这个工具的应用场景其实相当广泛： 加密中文信函，
在处理文本时，有时我们需要根据某个条件或模式，把文件里特定几行标记出来——比如给满足条件的行打个星号。这个活儿用 awk 做起来相当顺手，也是它很实用的功能之一。 举个例子，假设你有一个购物清单文件 food_prices.list，里面列出了想买的食物和单价，内容长这样： $ cat food_p
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
只需动动嘴，就能操控GUI代理？由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手，直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端（End-to-End）决策的自主GUI智能体，致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音，智能代理的新一轮进化目前，基于大语言模型（LLMs）的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作，显著提升用户效率。然而，这种依赖文本输入的方式在某些场景中存在明显局限
强化学习（RL）结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而，这一方法面临两大挑战：搜索引擎返回的文档质量不稳定，导致训练过程中的噪音和不稳定性；RL训练需要频繁部署，产生大量API开销，限制了可扩展性。针对这些问题，阿里通义实验室推出了开源解决方案ZeroSearch，这是一个无需与真实搜索引擎交互的强化学习框架。实验表明，ZeroSearch只需使用3B参数的LLM作为检索模块，就能有效提升搜索能力，并大幅节省API成本。ZeroSearch让LLM实现自给自足
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
