快了一个0！Meta祭出150亿参数蛋白质大模型，碾压AlphaFold2
迄今为止规模最大的蛋白质语言模型问世了！一年前，DeepMind开源AlphaFold2连登Nature、Science，刷爆生物和AI学界。一年后，Meta带着速度快一个数量级的ESMFold来了。不光速度快，模型还足足有150亿个参数。LeCun发推称赞，这是Meta-FAIR蛋白质团队的伟大新成果。共同一作ZemingLin透露，30亿参数的大模型在256个GPU上训练了3个星期，而ESMfold在128个GPU上用了10天。至于150亿参数的版本，目前还不清楚。他还表示，代码随后肯定会开源，敬请
迄今为止规模最大的蛋白质语言模型问世了！
一年前，DeepMind开源AlphaFold2连登Nature、Science，刷爆生物和AI学界。
一年后，Meta带着速度快一个数量级的ESMFold来了。
不光速度快，模型还足足有150亿个参数。
LeCun发推称赞，这是Meta-FAIR蛋白质团队的伟大新成果。
共同一作Zeming Lin透露，30亿参数的大模型在256个GPU上训练了3个星期，而ESMfold在128个GPU上用了10天。至于150亿参数的版本，目前还不清楚。
他还表示，代码随后肯定会开源，敬请关注！
又大又快！
今天，我们的主角是ESMFold，一个从蛋白质个体的序列，直接进行高准确度、端对端、原子层级结构预测的模型。
论文地址：https://www.biorxiv.org/content/10.1101/2022.07.20.500902v1
150亿个参数带来的好处不必多说——通过训练，如今的大模型可以在原子大小的精度上预测蛋白质的三维结构。
从准确度上看，ESMFold和AlphaFold2、RoseTTAFold差不多。
但是，ESMFold推测速度要比AlphaFold2快一个数量级！
一下说数量级可能不好理解三者之间速度的对比，看看下面这张图就懂了。
有啥区别？
虽说AlphaFold2和RoseTTAFold在原子分辨率结构预测问题上取得了突破性的成功，但它们也依赖于使用多序列比对（MSA）和类似的蛋白质结构模板来实现最佳性能。
相比之下，通过利用语言模型的内部表征，ESMFold只用一个序列作为输入就能生成相应的结构预测，从而大大加快了结构预测的速度。
研究人员发现，ESMFold对低复杂度序列的预测与当下最先进的模型相当。
而且，结构预测的准确性与语言模型的复杂度息息相关，也就是说，当语言模型能更好地理解序列时，便可以更好地理解结构。
目前，有数十亿结构和功能未知的蛋白质序列，其中许多来自元基因组测序。
利用ESMFold，研究人员只需6个小时，就能折叠完成100万个元基因组序列的随机样本。
其中很大一部分具有高置信度，并且与任何已知的结构不同（在数据库中没有记录）。
研究人员认为，ESMFold可以帮助理解那些超出现有认知的蛋白质结构。
此外，由于ESMFold的预测速度比现有的模型快一个数量级，因此研究人员便可借助ESMFold来协助填补快速增长的蛋白质序列数据库与进展缓慢的蛋白质结构和功能数据库之间的鸿沟。
150亿参数的蛋白质语言模型
接下来我们就来具体说说Meta这款全新的ESMFold。
ESM-2是一个基于Transformer的语言模型，并使用注意力机制来学习输入序列中成对氨基酸之间的相互作用模式。
相对于上一代模型ESM-1b，Meta对模型结构、训练参数进行了改进，并增加了计算资源和数据。同时，相对位置嵌入的加入，使模型能够推广到任意长度的序列。
从结果来看，具有1.5亿个参数的ESM-2模型比具有6.5亿个参数的ESM-1b模型表现得更好。
此外，在结构预测的基准上，ESM-2也超过了其他的蛋白质语言模型。这种性能的提高与大型语言建模领域建立的规律是一致的。
随着ESM-2规模的增加，可以观察到语言建模的精度有很大的提高。
端到端的单序列结构预测
SMFold和AlphaFold2的一个关键区别是，ESMFold使用语言模型表示，消除了对明确的同源序列（以MSA的形式）作为输入的需要。
ESMFold通过用一个处理序列的Transformer模块取代处理MSA的计算昂贵的网络模块，简化了AlphaFold2中的Evoformer。这种简化意味着ESMFold的速度大大提高，远高于基于MSA的模型。
折叠主干的输出接下来又被一个结构模块处理，它负责输出最终的原子级结构和预测的置信度。
研究人员将ESMFold与AlphaFold2和RoseTTAFold在CAMEO（2022年4月至2022年6月）和CASP14（2020年5月）测试集上进行比较。
当只给单一序列输入时，ESMFold的表现要比Alphafold 2好得多。
而当使用完整的管道时，AlphaFold2在CAMEO和CASP14上分别达到了88.3和84.7。ESMFold在CAMEO上取得了与RoseTTAfold相当的准确率，其平均TM分数为82.0。
结论
研究人员发现，以无监督学习为目标的语言模型在一个大型的进化多样化的蛋白质序列数据库中训练，能够对蛋白质结构进行原子级的分辨率预测。
将语言模型的参数扩大到15B，就可以系统地研究规模对蛋白质结构学习的影响。
我们看到，蛋白质结构预测的非线性曲线是模型规模的函数，并且观察到了语言模型对序列的理解程度与结构预测之间的强烈联系。
ESM-2系列的模型是迄今为止训练的最大的蛋白质语言模型，其参数仅比最近开发的最大文本模型少一个数量级。
而且，ESM-2比以前的模型有非常大的改进，即使在150M的参数下，ESM-2也比ESM-1代语言模型在6.5亿的参数下捕捉到更准确的结构图。
研究人员表示，ESMFold性能的最大驱动力是语言模型。由于语言模型的迷惑性和结构预测的准确性之间有很强的联系，他们发现当ESM-2能较好地理解蛋白质序列时，就可以获得与目前最先进的模型相当的预测结果。
ESMFold获得了准确的原子分辨率结构预测，推理时间还比AlphaFold2快了一个数量级。
在实践中，速度的优势甚至还要更大。因为ESMFold不需要搜索和进化相关的序列来构建MSA。
虽说有更快的方法可以减少搜索时间，但再怎么减少还是可能会很长。
而推理时间的极大缩短带来的利好不言自明——速度的提高将使绘制大型元基因组学序列数据库的结构空间成为可能。
除了基于结构的工具来识别远端同源性和保护性之外，用ESMFold进行快速准确的结构预测，还能在大量新序列集合的结构和功能分析中发挥重要作用。
在有限的时间内获得数以百万计的预测结构，有利于发现对天然蛋白质的广度和多样性的新认识，并能发现全新的蛋白质结构和蛋白质功能。
作者介绍
本文的共同一作是来自Meta AI的Zeming Lin。
据个人主页介绍，Zeming在纽约大学攻读博士学位，并在Meta AI担任研究工程师（访问），主要负责后端基础设施的工作。
他本硕都就读于弗吉尼亚大学，在那里，他和Yanjun Qi大佬一同做有关机器学习应用的研究，尤其是在蛋白质结构预测方面。
感兴趣的领域为深度学习、结构预测，以及信息生物学。
多家机构联合提出d-OPSD方法，通过让扩散语言模型的学生生成未来答案，并让老师利用这些未来信息进行指导，实现了步级别密集监督。在四项推理任务上，该方法达到同等效果仅需约十分之一的训练步数，显著提升了训练效率。
摩根大通研报预测，中国主要大语言模型厂商年度经常性收入在2026年将增长4至7倍，基于价值导向的定价策略与性价比竞争推动全球份额提升，但需关注货币化可持续性与定价能力。
慕尼黑大学等机构研究发现，通过分析大语言模型中间层的预测熵变化趋势可有效检测越狱攻击。越狱提示词会使熵呈单调变化，而安全提示词则随机波动，该信号在中间层最强，无需额外训练，但需访问模型内部激活。
不列颠哥伦比亚大学研究团队提出四条公理评估大语言模型的内部潜在思维表示质量。对五个开源模型检测发现，当前方法在因果性、最小性、可分性上表现不佳，任务内可分性近乎随机猜测，存在结构性缺陷，表明潜在思考多为“表演”而非真正推理。
谷歌DeepMind发布D4RT模型，从2D视频推断三维结构和运动轨迹，实现四维时空认知。单Transformer架构，性能提升18至300倍，支持像素跟踪、点云重建与无标定相机位姿估计，为机器人、增强现实等应用奠定基础。
谷歌DeepMind高管指出，AI领域千亿资本支出是人类史上最大科学赌注，核心押注递归自我改进，预计2027至2028年实现。当前AI收入远不足以支撑巨额支出，且面临网络攻击、生物安全等重大风险。
MistralAI团队构建了RobostralNavigate导航系统，利用80亿参数视觉语言模型，仅凭普通RGB摄像头和自然语言指令即可自主导航。在R2R-CE基准测试中，任务成功率达77.4%，比此前最佳单摄像头方案高10.5个百分点，甚至超越多传感器系统，刷新了导航天花板。
GoogleDeepMind开放ProjectGenie测试，美国AIUltra订阅用户可输入文字或图片，数秒生成可交互3D游戏世界。该系统整合Genie3世界模型等，旨在获取用户反馈优化模型。目前处于早期阶段，每轮体验限时60秒，存在交互异常等问题，已部署内容过滤机制。
谷歌DeepMindCEO哈萨比斯呼吁美国政府牵头成立全球AI监管机构，参考金融业监管局模式，由独立专家和开源社区代表对前沿模型进行发布前安全评估，高风险时可协调放慢发布节奏，目标年底前投入运作。
GoogleDeepMind提出视觉提示工程（VIPE），通过优化视觉输入提升视频模型推理性能。实验表明，视觉提示工程比文本提示更有效，可自动化且降低错误率，但依赖图像编辑模型质量，未来需稳定保留任务信息。
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
