当前位置:

首页 > 硬件相关 > 一张图里藏着多少科学,AI 能读懂几分?

一张图里藏着多少科学,AI 能读懂几分?

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

立即下载
¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买

你有没有想过,一篇材料科学论文里的一张图,到底装了多少信息?一个坐标轴的读数,一个光谱峰的位置,一条曲线的走势,背后可能是研究者花了几个月、做了几十次实验才拿到的结果。这张图不是插图,是证据本身。现在的问题是:AI 能不能看懂这张图?不是"能不能识别这是一张图",而是能不能理解图里说的是什么科学故事

本文目录

    你有没有想过,一篇材料科学论文里的一张图,到底装了多少信息?

    一个坐标轴的读数,一个光谱峰的位置,一条曲线的走势,背后可能是研究者花了几个月、做了几十次实验才拿到的结果。这张图不是插图,是证据本身。

    现在的问题是:AI 能不能看懂这张图?

    不是"能不能识别这是一张图",而是能不能理解图里说的是什么科学故事。这个问题,ICDAR 2026(国际文档分析与识别大会)的一场比赛,用一套叫 ALD/E-ImageMiner 的数据集,给出了一个相当扎实的答案:现在还不太行,但差距在哪里,已经能说清楚了。

    一个具体又冷门的领域,为什么被选中做试验田

    这套数据集选择的领域有点意外:原子层沉积和原子层刻蚀(ALD/E)。

    > 原子层沉积/刻蚀(ALD/E):一种通过一层一层、以原子级精度控制材料生长或去除的工艺技术,广泛用于芯片制造、光伏材料等前沿领域。

    听起来很小众,但正因为小众而专业,它成了一个绝佳的压力测试场景。这个领域的论文图表不是那种"一眼就能看懂"的柱状图或者饼图,而是光谱曲线、极图、分子结构示意图、电镜照片、反应流程图混杂在一起,而且往往是好几个小图拼成一张大图,每个小图讲一部分故事,合起来才是完整的结论。

    研究团队从 205 篇相关论文里,提取出 1951 张图,由多国的材料科学、化学专业背景的研究者手工标注,分成 49 种图表类型。这个规模不算庞大,但标注的精细度值得说一说:每张复合图里的每个子图,都被人工圈出了具体的像素坐标框,精确到"这个子图从左上角第几个像素开始,宽多少、高多少"。

    这里就要提一个反直觉的事实了:你可能觉得,给 AI 一张图,让它自己找到"图里哪部分是我需要关注的",是理所应当的能力。但现实是,如果不给它这种像素级的框定,现在的多模态大模型经常会看错子图,把 A 图的数据当成 B 图的结论来回答问题。这就是为什么标注团队要费这么大功夫,给每个子图画框——这不是锦上添花,是不这样做就没法准确评测模型到底看没看懂图。

    打个比方,这就像你去考驾照的路考,考官不会直接问你"刚才那段路你觉得怎么样",而是会精确指出"刚才那个左转弯,你有没有打转向灯"。如果问题问得含糊,你说得再好听,考官也不知道你到底是真的会开车,还是碰巧蒙对了。给图打框,就是把模糊的大问题拆成精确可核查的小问题。

    四个任务,测的是四种不同的"读图能力"

    这套基准设计了四个任务,分别对应读图的四个层次。

    第一个任务是图表分类,测试模型能不能认出"这是哪种类型的图"。这看起来最简单,但一张图可能同时包含分子结构图、极坐标图(也叫玫瓰图)、光谱图,模型要能把这几种视觉语言分辨清楚。

    第二个任务是数据表提取,要求模型把图里的数值老老实实地"抄"出来,变成结构化的表格。

    > 数据表提取:从图表(比如散点图、曲线图)中把具体数值恢复出来,转换成可以用程序读取的表格形式,这个过程要求数字准确,不能瞎编。

    这个任务听起来很基础,但实际做起来最容易露馅。之前有研究专门测试过多模态模型在材料科学散点图上的表现,结果发现:模型在识别坐标轴、图例这些"表面信息"上表现不错,但一旦图里数据点密集、曲线重叠,模型就开始编造或者漏掉数据点。说白了,模型嘴上说得头头是道,具体数字经常是瞎猜的。

    这让我想起一个场景:你让一个人复述一段新闻,他能讲出大概意思,语气腔调都对,但你追问"具体数字是多少",他就开始含糊其辞了。语言流畅和事实准确,完全是两件事,AI 在这一点上和人有点像。

    第三个任务是摘要生成,要求模型不只是转述图里的内容,而是提炼出这张图想表达的核心科学信息。

    第四个任务,也是这套基准里设计最讲究的部分,是视觉问答(VQA)。

    > 视觉问答(VQA):给模型一张图和一个问题,要求它结合图里的视觉信息给出答案,是评测多模态模型理解能力的常见方式。

    VQA 听起来是个老套路了,市面上早就有 FigureQA、DVQA、ChartQA 这些数据集。但这些数据集里的图,大多是网上抓来的经济、社会类图表,或者是程序生成的模板化图形,跟科学论文里那种密度高、专业术语多、跨图关联复杂的图完全不是一个难度级别。这套 ALD/E 的 VQA 设计,是专门针对科学论证逻辑量身定做的。

    布鲁姆分类法:把"读懂图"拆成六个台阶

    这套 VQA 设计里最有意思的一点,是它借用了教育学里一个经典理论,叫布鲁姆分类法,来分层设计问题的认知难度。

    > 布鲁姆分类法(修订版):教育心理学中广泛使用的认知能力分级框架,把人类的思维活动从低到高分成记住、理解、应用、分析、评价、创造六个层次,最初用于评估学生的学习深度,这里被借来评估 AI 的理解深度。

    具体而言,这套基准将问题划分为四大类别:流程类问题,即询问“先做什么后做什么”这类工艺步骤;对比趋势类问题,比如“温度升高,生长速率会如何变化”;结构性质类问题,像“分子结构改变,材料性能会怎样”;应用性能类问题,例如“这个光谱变化,对制作灯具有何意义”。

    这四类问题不是随便划分的,它们分别对应布鲁姆分类里由浅到深的认知要求。举个流程类的例子:如果问题是"沉积步骤的顺序是什么",这只需要记住和理解;但如果问题是"为什么这一步需要用惰性气体吹扫",就需要理解加分析;要是问题变成"如果把吹扫时间缩短一半,结果会怎样",这就要求模型真正应用领域知识去预判后果,而不是简单地照着图念答案。

    这里有个特别值得琢磨的地方:同一张图,可以配一道"是不是"的简单判断题,也可以配一道需要写一整段解释的分析题。答案格式本身也分成四种:是否题、简答题、列表题、段落题。

    论文里给了个具体案例,特别能说明这套设计的用心程度。案例用的是一篇关于二硫化铅薄膜外延生长的论文里的一张五联图,从分子结构示意图到 X 射线衍射的极坐标图,再到几种不同角度扫描得到的光谱曲线。针对这张图,标注团队设计了四个问题:

    第一个问题问"二硫化铅能不能在蓝宝石基底上外延生长",答案是简单的"能"。

    第二个问题问"为什么极图要选在 25.95 度这个角度测量",这道题的标准答案长达一整段,涉及晶格匹配、衍射峰对应关系、外延取向关系的专业解释,是段落题里最典型的高阶分析题。

    第三个问题问"什么现象暗示了薄膜内部存在无序结构",答案要求模型对比两个不同扫描方向的峰宽数据(一个是 13 度,一个是 9 度),推断出材料在面内和面外方向的无序程度。

    第四个问题问"有没有 30 度或 90 度的晶格畴存在",答案需要综合面内 XRD 测量结果来判断。

    这四个问题,从"看图说话"到"跨图综合推理",跨度非常明显。这也印证了标注团队想要测的不是"AI 能不能看图",而是"AI 能不能像一个真正的材料科学家那样,把图里分散的线索拼成一个完整的科学结论"。

    再打一个比方:这就像考医生的读片能力。你给一个刚入门的医学生一张 CT 片,他能看出"这里有个阴影";但你给一个有经验的医生看,他能结合病人的病史、其他检查结果,判断出这个阴影到底是什么问题,接下来该做哪项检查来确认。如果考试只考"能不能看出阴影",那筛选不出真正合格的医生。同理,如果 VQA 只考简单的事实提取,筛选不出真正理解科学的 AI。

    现有的 AI,卡在哪一步

    这套基准的设计,其实也是对当前多模态大模型能力边界的一次系统性摸底。论文里引用了不少相关研究,拼出了一幅相当清晰的画面。

    有一项专门评测化学材料领域视觉理解能力的研究(叫 MaCBench)发现,模型在识别实验仪器、直接读数这类相对表层的任务上表现不错,但一旦涉及空间推理、跨模态信息整合、多步推理,表现就明显下滑。另一项研究用科学期刊封面图和配套故事做测试,发现模型很擅长"识别图里的显著物体",但这种能力很大程度上是靠周围文字提示撑起来的,一旦把文字线索去掉,纯靠图像内容做判断,表现立刻打折。

    还有一项更基础的研究专门探讨了"视觉绑定问题",发现像 GPT-4V 这样的强模型,在一些看起来很简单的场景里,居然会把物体、属性和空间关系搞混,比如认错"哪个颜色对应哪个形状"。这说明,视觉识别能力强,不代表模型真正理解了图里各个元素之间的关系。

    > 视觉绑定问题:指模型在处理图像时,可能无法正确地把一个物体和它对应的属性、位置关联起来,比如混淆了"红色的圆"和"蓝色的方",是当前视觉语言模型的一个已知短板。

    这些发现放在一起看,能推出一个不算意外但值得强调的结论:模型的文字表达能力,经常比它真实的视觉理解能力更强。它说得头头是道,但这套话术很可能是从训练数据里学来的"套路",不是真的看懂了眼前这张具体的图。这也是为什么这套 ALD/E 基准要坚持用像素级框定、精确的数值核对这些"笨办法"来评测,因为流畅的语言输出很容易骗过人类的第一印象,但骗不过精确的数字比对。

    具体到材料科学图表这个细分场景,有研究专门测过散点图的图表转表格任务,发现模型能找到坐标轴和图例,整体趋势也说得对,但一旦图里的数据点比较密集、有重叠、还带着拟合曲线,输出的表格里就会开始漏数据或者编数据,而且图越复杂,出错率越高。这个发现挺关键:不是模型完全不会读图,是模型在"容易"的图上表现还行,在"科学论文里真实存在的那种复杂图"上就露馅了。这恰恰说明了为什么用真实科学文献里的图做基准,比用简单的合成图表更有价值,简单图表测不出真实场景里的坑。

    从"看见"到"能证明":科学理解的完整链条

    论文里提出了一个挺有意思的框架,把"看懂一张科学图"拆解成五个递进的步骤:看见、阅读、理解、推理、论证。

    看见,指的是模型要先能分辨图里的各个视觉元素,坐标轴在哪、图例是什么、曲线走向如何。阅读,指的是要能把这些视觉元素转换成具体的数值和类别,而且不能丢失它们原本的结构关系。理解,是要把这些数值和实验条件、科学变量、专业术语对应起来。推理,要求模型能推导出图里没有直接写出来的隐含关系,比如因果机制、趋势对比、结构和性能之间的关联。论证,是最高一级的要求,模型要能说清楚"我这个结论是从图里哪个地方看出来的",区分清楚哪些是直接观察到的事实,哪些是加了自己的专业判断,如果证据不够,还要老实说"我不确定"。

    这五步走下来,前面提到的四个任务恰好对应了这个链条的不同环节:分类任务对应"看见",数据提取对应"阅读",摘要对应"理解",VQA 对应"推理"和部分"论证"。

    论文进一步展望,未来的挑战可以往"创造"这个更高的台阶上走,也就是布鲁姆分类法里最顶层的能力:让模型不只是回答问题,而是根据图里给出的有限线索,设计出一套完整的实验方案。论文里举了个假设性的例子:给模型看一张关于铕有机杂化薄膜光学配置的图,让它设计一套用于荧光共振能量转移(FRET)实验的最简工作流程。这需要模型把图里分散的信息综合成一个有先后顺序的完整方案,还要清楚区分哪些参数是图里明确给出的,哪些是没写出来、需要自己判断的。

    这已经很接近真正的科研工作了:不是回答一道有标准答案的题,而是在信息不全的情况下,设计出一条可执行的路径。

    基准背后更深的野心:让 AI 学会像科学家一样思考

    如果把这套基准的价值只停留在"测试模型读图能力"这个层面,其实低估了它的野心。论文花了不少篇幅去描绘一个更长远的目标,叫"从图像中获得科学概念理解"。

    这个目标背后的逻辑是:现在的评测方式,往往把"理解"简化成一个单一分数,但真正的科学理解从来不是一锤子买卖,它是一整套过程,包括identify证据、关联条件、对比不同证据、判断哪些结论站得住脚。

    论文提出了几条具体的延伸方向,值得挑几条重点说说。

    首先是领域和图表类型的拓展。当下这套基准聚焦于原子层沉积/刻蚀这一细分领域,而未来的规划是先向相邻的材料科学子领域延伸,例如薄膜合成、半导体工艺、二维材料、催化、电化学电池材料、光伏、聚合物等,随后再进一步拓展至化学工程、电子工程、机械航空、能源生物医学工程等相关工程学科。这种扩展思路颇有讲究,并非单纯地“增加图表数量”,而是依据图表在科学论证中所承担的功能进行分类,像是显微图像对应形貌和缺陷分析,衍射图对应晶体结构分析,反应流程图对应机理呈现。如此设计的基准,才能真正检验出模型是否掌握了“迁移”能力,而非仅仅是对某个领域特定图案的死记硬背。

    第二条是引入反事实测试。这个设计思路特别值得说一说:如果去掉图里某个关键子图,或者故意改动一个数值,或者把两个标签对调,一个真正理解图的模型,答案应该跟着这些改动而变化;如果改动的是无关紧要的格式细节(比如换个配色),答案应该保持稳定不变;如果关键信息被抽掉了,模型应该老实说"我现在没法判断",而不是硬编一个答案出来。

    这个设计背后有个挺扎心的现实依据:已经有研究证明,语言模型生成的"解释"经常是不忠实的,就是说它嘴上说的推理过程,跟它实际做出判断的真实依据,可能根本不是一回事。也有研究发现,模型的一部分关键计算过程,压根就不会体现在它输出的文字里。这意味着,光看模型说得多头头是道,不能证明它真的推理对了。反事实测试就是应对这个问题的办法:不看它怎么说,看它面对信息变化时,答案是不是也合理地跟着变了。

    这就像审一份财务报表。审计师从来不会只听会计"口头解释这笔账怎么来的",而是会故意换一个假设条件,看看数字会不会按预期变化。如果账目背后的逻辑经不起这种"扰动测试",那这份报表大概率有问题。同理,如果 AI 的答案经不起"抽掉一张图、改一个数值"这种扰动,那它之前那套流畅的解释,可能也只是好看的表面文章。

    第三条是走向真正开放式的科研挑战。论文设想了一种"影子挑战",给 AI 一个来自未发表研究的科研问题,配上相关文献里的图、表、方法和数据,让它自己去综合证据、提出假设、选择要做的分析,最后产出一份有理有据的研究提案,交给领域专家评判。这已经跳出了传统"评测题库"的范畴,更接近真正考验一个科研新人能不能独立开展研究。

    这背后也有现实依据支撑:已经有研究观察到,现在的 AI 智能体虽然能完成不少扎实的工程性研究工作,但在实验判断、证据取舍、判断一个问题到底有没有被真正解决这些环节上,还是明显吃力。

    数据集怎么获得,规则是什么

    这套 ALD/E-ImageMiner 基准数据已经公开在 GitHub 和 Hugging Face 上,包含图像、结构化标注、评测脚本和提交指南,源论文的 PDF 文件因为版权原因没有包含在内。授权方式是混合型的:标注和生成的元数据用 CC BY 4.0(一种允许自由使用但需要署名的开放许可协议)开放,但提取出来的图片本身,版权仍然归属原始论文,使用者如果要商用或再传播,需要单独核实版权方的规定。

    四个赛道(图表分类、数据表提取、摘要生成、视觉问答)都设有对应的 Codabench(一个开放的机器学习竞赛评测平台)竞赛页面,长期开放提交。

    写在后面

    读完这套基准的设计过程,最让我有触动的一点,是那个像素级框定子图的细节。这个看起来只是个"标注工程"的小决定,其实暴露了一个很本质的问题:我们现在评测 AI 的方式,本身就在纵容它蒙混过关。如果不给出精确的坐标框,一个模型把 A 子图的数据当成 B 子图的结论来回答,评测者可能都发现不了,因为答案听起来"差不多对"。这种"差不多对"恰恰是最危险的,它比明显的错误更难被揪出来。

    还有一点值得单独说一说:论文里提到的"反事实测试"思路,让我联想到心理学里测试小孩是不是真的理解一个概念,常用的办法就是故意问一个刁钻的变体问题,看孩子是死记硬背了答案,还是真的懂了逻辑。AI 评测走到这一步,说明我们对"理解"这件事的定义,正在变得越来越苛刻,也越来越靠近人类认知科学的严谨标准。

    一个问题倒是一直没在论文里看到答案:当 AI 真的能通过所有这些反事实测试、能生成完整的实验方案时,我们该拿什么新标准,去分辨它是"真的理解了科学",还是"学会了一套更精细的模仿"?

    Q&A

    Q1:ALD/E-ImageMiner 数据集是什么?

    A:这是 ICDAR 2026 竞赛使用的一套科学图像基准数据集,包含来自 205 篇原子层沉积/刻蚀相关论文的 1951 张图,由专家标注,涵盖图表分类、数据表提取、摘要生成和视觉问答四个任务,用来评测多模态 AI 理解科学图表的能力。

    Q2:现在的多模态大模型看科学图表表现怎么样?

    A:表现不稳定。模型在识别坐标轴、图例这类表面信息上还行,但遇到数据点密集、曲线重叠的复杂图表时,容易漏数据或编造数字,涉及跨图推理、空间关系判断时表现明显下降,说明流畅的语言表达不代表真正看懂了图。

    Q3:布鲁姆分类法在这个研究里是用来做什么的?

    A:研究团队借用这套教育学理论,把视觉问答的问题按认知难度分成从"记住理解"到"分析评价"再到"创造"的多个层次,用来系统性测试 AI 对同一张图能达到多深的理解程度,而不只是简单的信息提取。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 AI
    相关文章 更多
    讯飞听见会议纪要怎么自动生成 导出教程
    讯飞听见会议纪要怎么自动生成 导出教程

    打开转写稿点顶部AI纪要,自动生成摘要、章节要点和待办,每条可点回原文定位;右上角导出选Word或PDF,导出范围记得勾上原文。

    剪映专业版画质修复怎么用 老视频清晰化处理
    剪映专业版画质修复怎么用 老视频清晰化处理

    选中视频段,右侧属性栏最右的「AI 效果」里选超清画质,挑强度后云端处理;锐化和特效补不回分辨率,源文件压缩过重时效果有限。

    AI桌面浏览器网页打不开怎么办 缓存清理排查方法
    AI桌面浏览器网页打不开怎么办 缓存清理排查方法

    先分范围:全部打不开查网络与代理,单个打不开清缓存换浏览器;扩展误杀也会导致白屏,临时停用可验证。

    AI桌面浏览器AI图像处理支持哪些功能 老照片修复怎么用
    AI桌面浏览器AI图像处理支持哪些功能 老照片修复怎么用

    四类:模糊修复、老照片修复、漫画头像、去水印消除;老照片上传后自动去噪补划痕,缺失五官无法还原。

    AI桌面浏览器新标签页小组件怎么添加 天气热搜配置
    AI桌面浏览器新标签页小组件怎么添加 天气热搜配置

    新标签页找「添加小组件」按钮勾选卡片,可拖动位置;天气需定位权限、日历需日程权限,没授权会显示空白。

    AI桌面浏览器内核是什么 Chromium单核怎么确认
    AI桌面浏览器内核是什么 Chromium单核怎么确认

    基本都是 Chromium 单核,在「关于」里能看到具体内核版本;单核更轻快,但只支持老 IE 的站点需另找办法。

    AI桌面浏览器热搜榜功能在哪看 一键查看设置
    AI桌面浏览器热搜榜功能在哪看 一键查看设置

    侧边栏工具列表里的「热搜榜」即实时榜单,点条目带关键词跳搜索结果;可在侧边栏设置里取消勾选。

    AI桌面浏览器软件安装功能怎么用 一键装软件教程
    AI桌面浏览器软件安装功能怎么用 一键装软件教程

    软件中心搜索或按分类找软件,点安装自动完成;商店版无捆绑但版本可能滞后,要最新版还是去官网下。

    AI桌面浏览器软件管理功能怎么用 软件升级操作步骤
    AI桌面浏览器软件管理功能怎么用 软件升级操作步骤

    软件中心「升级」筛选里能看到可更新项,升级前先退出正在运行的程序;失败多为权限或残留进程,用管理员权限重试。

    AI桌面浏览器怎么设为默认浏览器 系统设置方法
    AI桌面浏览器怎么设为默认浏览器 系统设置方法

    设置里点「设为默认浏览器」跳系统设置;Win11 要逐项指定 http、https、htm、html 四项,漏一项链接仍会跳走。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?