当前位置:

首页 > 业界资讯 > 超越SOTA的语言模型与几何深度学习技术相结合,用于开发Lingo3DMol的3D分子生成模型

超越SOTA的语言模型与几何深度学习技术相结合,用于开发Lingo3DMol的3D分子生成模型

编辑|X分子生成是AI助力小分子新药研发的核心技术。望石智慧始终专注于分子生成技术的开发。最近,望石智慧的研究团队发布了Lingo3DMol,这是一种利用语言模型和几何深度学习技术生成小分子配体的3D结构的方法。通过该方法,可以根据给定的口袋3D结构,快速生成相应的配体结构。这项技术的推出为小分子药物设计和研发提供了一种新的有效工具。研究人员在传统的SMILES分子表征的基础上,开发了新的分子表示方法FSMILES。此外,研究还对一个独立的非共价相互作用预测器进行了训练,以为生成模型提供必要的结合模式信息

本文目录

    优于SOTA方法,语言模型结合几何深度学习技术,望石智慧开发3D分子生成模型Lingo3DMol

    编辑 | X

    分子生成是 AI 助力小分子新药研发的核心技术。望石智慧始终专注于分子生成技术的开发。

    最近,望石智慧的研究团队发布了Lingo3DMol,这是一种利用语言模型和几何深度学习技术生成小分子配体的3D结构的方法。通过该方法,可以根据给定的口袋3D结构,快速生成相应的配体结构。这项技术的推出为小分子药物设计和研发提供了一种新的有效工具。

    研究人员在传统的 SMILES 分子表征的基础上,开发了新的分子表示方法  FSMILES。

    此外,研究还对一个独立的非共价相互作用预测器进行了训练,以为生成模型提供必要的结合模式信息。Lingo3DMol能够有效地跨越类似药物的化学空间,避免异常结构的形成。相比于最先进的方法,Lingo3DMol在药物相似性、合成可及性、口袋结合模式和分子生成速度方面表现优越。

    该研究以「Generation of 3D molecules in pockets via a language model」为题,于 2024 年 1 月 15 日发布在《Nature Machine Intelligence》 上。

    优于SOTA方法,语言模型结合几何深度学习技术,望石智慧开发3D分子生成模型Lingo3DMol

    论文链接:https://www.nature.com/articles/s42256-023-00775-6

    当前 3D 分子生成方法的局限性

    基于结构的药物设计涉及设计能够特异性结合所需靶蛋白的分子,这是一项基础且具有挑战性的药物发现任务。使用 AI 从头生成分子最近作为药物发现工具而受到关注。

    早期的分子生成模型依赖于分子字符串表示或图表示。然而,这两种表示都忽略了 3D 空间相互作用,使得它们对于目标感知分子的生成来说不是最佳的。3D 蛋白质-配体复合结构数据的增加和几何深度学习(Geometric Deep Learning)的进步为 AI 算法直接设计具有 3D 结合姿势的分子铺平了道路。

    一些研究提出将口袋和分子表示为 3D 图,并使用图神经网络(GNN)进行编码和解码。尽管这些方法可以生成具有 3D 构象的分子,但它们有一些共同的缺点:(1) 生成的分子通常包含有问题的、非类药物或不可合成的子结构;(2)有问题的拓扑结构:生成的分子通常包含过多的环或根本没有环。

    此外,还有一些基于其他技术路线的 3D 分子生成方法,如基于扩散模型的方法。代表性方法是 TargetDiff,它使用基于图的扩散模型进行非自回归分子生成。尽管它努力避免自回归方法,但它仍然会产生显著比例的不良结构。

    虽然基于图的 3D 分子生成方法最近显示出巨大的潜力,但它们仍然面临着在给定口袋上复制参考分子而没有任何信息泄漏的困难,这是评估的重要基准。

    Lingo3DMol:一种基于口袋的 3D 分子生成方法

    为了解决上述问题,望石智慧提出了 Lingo3DMol。

    优于SOTA方法,语言模型结合几何深度学习技术,望石智慧开发3D分子生成模型Lingo3DMol

    图示:Lingo3DMol 模型开发概述。(来源:论文)

    首先,引入了一种新的分子序列编码方法,即具有局部和全局坐标的基于片段的简化分子线性输入系统(Fragment-based Simplified Molecular-input line-entry System,FSMILES)。通过(1)引入片段间分隔符;(2)片段间以深度优先的原则遍历;(3)把环的大小编码到环原子上, 在保持表达能力不变的情况下最大程度的压缩了表达方式,同时使得片段中的相关原子可以携带其所在环的整体信息,这降低了自回归生成过程的难度。

    研究人员将局部球面坐标系和全局欧几里德坐标系集成到其模型中。由于配体中的键长和键角本质上是刚性的,因此直接预测它们比预测原子的欧几里得坐标更容易。这两种类型的坐标的组合使模型能够考虑更大的空间上下文,同时保持准确的子结构。

    此外,通过合并单独训练的 NCI/anchor 预测器,在分子生成过程中还考虑了非共价相互作用 (NCI) 和配体-蛋白质结合模式。

    研究还使用了类似于 BART 和 Chemformer 的 3D 分子去噪预训练策略来提高模型的泛化能力。Lingo3DMol 模型根据 PDBbind2020 的数据进行了微调。

    最后,研究人员在 Directory of Useful Decoys-Enhanced(DUD-E)数据集上评估了 Lingo3DMol,并将其与最先进的 (SOTA) 方法进行了比较。Lingo3DMol 在各种指标上都优于现有方法。

    该研究的主要贡献可概括如下:

    • 引入了一种新的 FSMILES 分子表示,它结合了局部和全局坐标,从而能够生成具有合理 3D 构象和二维 (2D) 拓扑的 3D 分子。
    • 开发了 3D 分子去噪预训练方法和独立的 NCI/anchor 模型,以帮助克服数据有限的问题并识别潜在的 NCI 结合位点。
    • 所提出的方法在各种指标方面均优于 SOTA 方法,包括药物相似性、合成可及性和口袋结合模式。

    优于SOTA方法,语言模型结合几何深度学习技术,望石智慧开发3D分子生成模型Lingo3DMol

    图示:生成分子的案例研究,涉及 3D 结合模式和与活性化合物的 2D 相似性。(来源:论文)

    消融分析

    有效的预训练和微调分析

    具体来说,对于 DUD-E targets,将经过预训练和未经预训练的模型生成的分子分别与预训练集中的分子进行比较。研究证明,与未经预训练的模型生成的分子相比,预训练模型生成的分子与预训练集中的分子表现出更高程度的相似性。这表明模型在微调后保留了预训练的效果。如下表所示,预训练显著提高了类药分子的百分比、平均 QED、ECFP_TS > 0.5 的百分比、平均 min-in-place GlideSP 得分和多样性。

    表:消融研究中产生的类药物分子的比较。(来源:论文)

    优于SOTA方法,语言模型结合几何深度学习技术,望石智慧开发3D分子生成模型Lingo3DMol

    NCI 预测模型消融研究

    在这项消融研究中,研究人员将使用随机选择的 NCI 位点的 Lingo3DMol 与使用训练有素的 NCI 位点预测器的标准 Lingo3DMol 进行了比较。标准 Lingo3DMol 在大多数指标上都表现出优异的性能,特别是在药物相似度和 ECFP_TS > 0.5 方面。

    最后,值得注意的是,对于超过 95% 的 DUD-E targets,训练集(PDBbind, general set, v.2020)和基准模型的训练集(CrossDocked2020)都包含至少一个在 ECFP4 指纹方面与 DUD-E 活性物的 Tanimoto 相似度大于 0.5 的分子。然而,与具有随机 NCI 和基线模型的 Lingo3DMol 相比,标准 Lingo3DMol 的 ECFP_TS > 0.5 的显著改进表明,这种改进不能仅仅归因于模型再现了训练期间所看到的内容。

    下一步研究

    尽管如此,挑战仍然存在。由于自回归生成过程,捕获单个分子内的所有 NCI 并不简单,研究人员计划进一步研究这个问题。用电子密度表示分子和分子间相互作用也许提供了一个有前途的方向。

    此外,等方差性质是 3D 分子生成的一个关键方面。目前,使用旋转和平移增强来增强模型,并使用 SE(3) 不变特征来缓解该问题。最

    最后,通过案例分析并使用化学信息学工具评估了药物样特性。然而,对这些特性进行全面、系统的评估是进一步研究的重要一步。

    注:封面来自于网络。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    清华、慕尼黑工大等高校联手:让AI扩散语言模型学会
    清华、慕尼黑工大等高校联手:让AI扩散语言模型学会"回忆未来"

    多家机构联合提出d-OPSD方法,通过让扩散语言模型的学生生成未来答案,并让老师利用这些未来信息进行指导,实现了步级别密集监督。在四项推理任务上,该方法达到同等效果仅需约十分之一的训练步数,显著提升了训练效率。

    小摩:料中国主要大型语言模型ARR今年增长约4至7倍
    小摩:料中国主要大型语言模型ARR今年增长约4至7倍

    摩根大通研报预测,中国主要大语言模型厂商年度经常性收入在2026年将增长4至7倍,基于价值导向的定价策略与性价比竞争推动全球份额提升,但需关注货币化可持续性与定价能力。

    慕尼黑大学等联合研究揭示大语言模型中层激活如何暴露恶意提示
    慕尼黑大学等联合研究揭示大语言模型中层激活如何暴露恶意提示

    慕尼黑大学等机构研究发现,通过分析大语言模型中间层的预测熵变化趋势可有效检测越狱攻击。越狱提示词会使熵呈单调变化,而安全提示词则随机波动,该信号在中间层最强,无需额外训练,但需访问模型内部激活。

    大语言模型的
    大语言模型的"内心独白"到底有没有真正在思考?

    不列颠哥伦比亚大学研究团队提出四条公理评估大语言模型的内部潜在思维表示质量。对五个开源模型检测发现,当前方法在因果性、最小性、可分性上表现不佳,任务内可分性近乎随机猜测,存在结构性缺陷,表明潜在思考多为“表演”而非真正推理。

    Mistral AI用8B视觉语言模型刷新导航天花板
    Mistral AI用8B视觉语言模型刷新导航天花板

    MistralAI团队构建了RobostralNavigate导航系统,利用80亿参数视觉语言模型,仅凭普通RGB摄像头和自然语言指令即可自主导航。在R2R-CE基准测试中,任务成功率达77.4%,比此前最佳单摄像头方案高10.5个百分点,甚至超越多传感器系统,刷新了导航天花板。

    显卡VRAM改装服务兴起 旧GPU升级显存以应对高负载3A游戏与大语言模型
    显卡VRAM改装服务兴起 旧GPU升级显存以应对高负载3A游戏与大语言模型

    对显卡升级有了解的朋友应该知道,目前消费级显卡想要获得超大显存,基本只能奔着高端型号去。但最近,一家叫GPU Solutions的服务商推出了一项挺有意思的服务——显卡视频内存升级,说白了就是把旧显卡的VRAM焊上去扩容,让那些不想频繁换代的用户,能把手头的硬件再用上几年。 从他们展示的案例来看,已

    大语言模型与 MikroTik 的网络
    大语言模型与 MikroTik 的网络

    说实话,我其实一直有点抗拒用那些花里胡哨的术语来描述这件事——什么“vibenetworking”啦、“vibkrotik”啦,听着就让人头大。但不得不承认,过去几个月,我确实一直在用大语言模型来搭建网络,而且,效果居然还不错。MikroTik 的设备我一直挺喜欢的——便宜、可靠,而且能覆盖各种网络

    香港科技大学等机构联合揭示视觉语言模型的空间行动鸿沟
    香港科技大学等机构联合揭示视觉语言模型的空间行动鸿沟

    一项联合研究构建了SpatialAct测试平台,揭示视觉语言模型在空间行动任务中的显著鸿沟。顶尖模型多轮交互修复率仅0.411,而人类达0.911。模型能看懂空间,但难以在行动后持续更新认知并规划下一步。

    Albany大学等联合团队如何让语言模型的评分系统越用越准
    Albany大学等联合团队如何让语言模型的评分系统越用越准

    Rubric-ARROW框架由Albany大学等联合提出,通过生成评分细则与条件判断模型交替强化训练,仅利用人类偏好数据实现自我进化。采用模型置信度连续值替代二元判断,提升评分区分度。在多项评测中准确率领先,推理速度比同类方法快3至10倍,并可用于改进AI模型。

    清华等机构打造的AI
    清华等机构打造的AI"自学成才"系统:让语言模型真正读懂陌生文档

    清华大学等团队提出Ctx2Skill框架,通过自博弈机制从文档中自动提炼结构化技能摘要,并采用“跨时回放”策略防止对抗性坍塌。实验显示,该方法能提升大语言模型在复杂任务中的表现,生成的摘要具备良好可迁移性与可读性,为AI理解专业文档提供了新思路。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。