Llama分子嵌入优于GPT，LLM能理解分子吗？这一局Meta赢了OpenAI
编辑|萝卜皮OpenAI的GPT和MetaAI的Llama等大型语言模型（LLM）因其在化学信息学领域的潜力而日益受到认可，特别是在理解简化分子输入行输入系统（SMILES）方面。这些LLM还能够将SMILES字符串解码为矢量表示。加拿大温莎大学（UniversityofWindsor）的研究人员比较了GPT和Llama与SMILES上的预训练模型在下游任务中嵌入SMILES字符串的性能，重点关注两个关键应用：分子特性预测和药物-药物相互作用预测。该研究以「Canlargelanguagemodelsun
OpenAI 的 GPT 和 Meta AI 的 Llama 等大型语言模型（LLM）因其在化学信息学领域的潜力而日益受到认可，特别是在理解简化分子输入行输入系统（SMILES）方面。这些 LLM 还能够将 SMILES 字符串解码为矢量表示。
加拿大温莎大学（University of Windsor）的研究人员比较了 GPT 和 Llama 与 SMILES 上的预训练模型在下游任务中嵌入 SMILES 字符串的性能，重点关注两个关键应用：分子特性预测和药物-药物相互作用预测。
该研究以「Can large language models understand molecules?」为题，于 2024 年 6 月 25 日发布在《BMC Bioinformatics》。
分子嵌入是药物发现中至关重要的任务，广泛应用于分子性质预测、药物-靶标相互作用 (DTI) 预测和药物-药物相互作用 (DDI) 预测等相关任务中。
2. 分子嵌入技术
分子嵌入技术可从编码分子结构连接信息的分子图或其结构的线注释中学习特征，例如流行的 SMILES 表示。
3. SMILES 字符串中的分子嵌入
通过 SMILES 字符串进行分子嵌入与语言建模的进步同步发展，从静态词嵌入到情境化的预训练模型。这些嵌入技术旨在以紧凑的数值表示形式捕获相关结构和化学信息。
基本假设认为结构相似的分子行为方式相似。这使得机器学习算法能够处理和分析分子结构，以进行属性预测和药物发现任务。
随着 LLM 的突破，一个突出的问题是 LLM 是否能够理解分子并根据分子数据进行推断？
更具体地说，LLM 能否产生高质量的语义表示？
温莎大学的 Shaghayegh Sadeghi、Alioune Ngom Jianguo Lu 等人进一步探索了这些模型有效嵌入 SMILES 的能力。目前，这一能力尚未得到充分探索，部分原因可能是 API 调用的成本。
研究人员发现，使用 Llama 生成的 SMILES 嵌入在分子特性和 DDI 预测任务中的表现都优于 GPT 生成的 SMILES 嵌入。
值得注意的是，基于 Llama 的 SMILES 嵌入在分子预测任务中表现出与 SMILES 上的预训练模型相当的结果，且在 DDI 预测任务中优于预训练模型。
据此，团队得出的结论如下：
（1）LLM 的表现确实优于传统方法。（2）性能取决于任务，有时也取决于数据。（3）即使针对更通用的任务进行训练，LLM 的新版本确实比旧版本有所改进。（4）Llama 的嵌入总体上优于 GPT 嵌入。（5）此外，观察到 Llama 和 Llama2 在嵌入性能方面非常接近。
该团队特别推荐 Llama 模型而不是 GPT，因为它们在从 SMILES 字符串生成分子嵌入方面具有卓越的性能。这些发现表明 Llama 在预测分子特性和药物相互作用方面可能特别有效。
虽然 Llama 和 GPT 等模型并非专门为 SMILES 字符串嵌入而设计（与 ChemBERTa 和 MolFormer-XL 等专业模型不同），但它们仍然表现出了竞争力。该工作为将来改进 LLM 分子嵌入奠定了基础。
未来，该团队将侧重于提高由自然语言句子嵌入技术启发而来的 LLM 分子嵌入的质量，例如对 Llama 标记化的微调和修改。
GitHub：https://github.com/sshaghayeghs/LLaMA-VS-GPT
论文链接：https://bmcbioinformatics.biomedcentral.com/articles/10.1186/s12859-024-05847-x
机器学习奠基人MichaelJordan认为AGI是公关炒作，AI的真正挑战在于让系统学会协调。他主张机器学习必须与经济学结合，关注不确定性、激励机制和数据流动等社会系统性问题，而非单纯追求模型能力。
持续坚持原创输出，点击蓝字关注我吧 ❝ 沉淀、分享、成长，让自己和他人都能有所收获！ ❞ 目录 一、前言二、面试题三、线程池讲解1. 先看个例子2. 手写一个线程池3. 线程池源码分析四、总结五、系列推荐一、前言人看手机，机器学习！正好是2020年，看到这张图还是蛮有意思的。以前小时候总会看到一些科
当前数字时代，deepseek入口智能助手凭借前沿技术架构为用户带来革新体验 在如今这个数字浪潮翻涌的时代，deepseek入口智能助手凭借其前沿的技术架构，为用户带来了真正意义上的革新体验。这个平台巧妙融合了自然语言处理与知识图谱技术，能够精准解析那些看似复杂的语义需求，已然成为提升工作效率的智能
刚开始学机器学习时，我也像大部分人 一样，有个很朴素的想法：特征越多，模型能学到的信息就越多，效果自然越好。 所以每次拿到数据，我就拼命往模型里塞特征——能算出来的统计量全加上，能衍生出来的比率全拼上。 一个原本 20 列的数据集，经常被我搞到七八十列。 然后我就发现事情不太对劲了： 训练时间明显变
机器学习实战中，大家往往把精力花在调参和选模型上，却忽略了一个更基础的问题：喂给模型的数据里，有多少特征是真正有用的？ 刚开始学机器学习那会儿，很多人特别喜欢堆特征——不管有用没用先一股脑全塞进去，总觉得特征越多模型越聪明。直到有一次跑练习数据集，X_train.shape 直接干到了 (50000
空气中直径小于100纳米的超细颗粒物每年导致约199万人早逝，其中近半因心血管疾病。该颗粒物主要来自化石燃料，可通过呼吸进入血液，引发氧化应激和内皮功能紊乱，是未被充分认识的心血管危险因素。若年均浓度控制在每立方厘米5000个以下，全球超额死亡率可降低约45%。
这项研究来自Ezgi Korkmaz，论文以预印本形式发布于2026年7月8日，编号为arXiv:2607.07769，发表于cs.LG（机器学习）领域，并将出版于2026年人工智能促进协会（AAAI）会议论文集。有兴趣深入了解的读者可以通过arXiv编号2607.07769查询完整论文。 深度强化
机器人编程侧重硬件组装与程序驱动，编程受限于特定机器人；少儿编程系统化教授编程知识，从Scratch启蒙延伸至Python、C++等高级语言。两者各有侧重，选择取决于希望孩子提升的能力方向。
少儿编程分为软件与硬件两大方向。软件编程侧重逻辑与代码能力，含图形化、Python、C++，适配学业竞赛；硬件编程侧重动手与工程实践，含乐高搭建与机器人。选择应基于孩子兴趣与年龄。
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
