Scaling Law被证伪，谷歌研究人员实锤研究力挺小模型更高效，不局限于特定采样技术！

出品 | 51CTO技术栈（微信号：blog51cto）

“模型越大，效果越好”，Scaling Law再次被OpenAI带火了，但谷歌的研究人员的最新研究证伪了这一观点。

在周一发表的一项研究中，谷歌研究院和约翰霍普金斯大学的研究人员对人工智能（AI）模型在图像生成任务中的效率进行了新的认识。这些发现挑战了“越大越好”的普遍信念，可能对开发更高效的人工智能系统产生重大影响。 在这项研究中，研究人员对比了不同规模的AI模型在生成图像任务中的表现。他们发现，尽管更大的模型通常会产生更高质量的图像，但效率并不一定更高。相反，较小的模型在相同时间内可以生成更多的图像，而且质量也不差。 这一发现有助于我们更好地理

1.模型大小与性能之间的较量

该研究由研究人员Kangfu Mei和Zhengzhong Tu共同主导，重点关注潜在于扩散模型（LDM）的缩放特性及其采样效率。LDM是一种人工智能模型，用于根据文本描述生成高质量图像。

为了研究模型大小和性能之间的关系，研究人员训练了一套12个文本到图像LDM模型。其参数数量从3900万到惊人的50亿不等。然后，这些模型在各种任务上进行了评估，包括将文本转化为图像的生成、超分辨率和主题驱动的生成等。这些评估结果表明，模型大小和性能之间存在一定的关联。

在论文中写到，“虽然改进的网络架构和推理算法已被证明可以有效提高扩散模型的采样效率，但模型大小（采样效率的关键决定因素）的作用尚未得到彻底检验。”

图片

研究表明，确定推理预算（相同的假设成本）下进行计算时，精简的模型可以胜过较大的模型。换句话说，在计算资源有限时，更简洁的模型可能比更复杂、需要更多资源的模型产生更高质量的图像。这为在模型规模上加入LDMs提供了一个有前景的方向。

图片

研究人员在论文中进一步表明，采样效率在多个维度上是一致的。研究人员有一个重要发现，较小模型的采样效率在各种扩散采样器（随机和确定性）中都是保持一致的，甚至在蒸馏模型（原始模型的压缩版本）中也是如此。这表明较小模型的优势并不限于特定的采样技术或模型压缩方法。

研究者认为，这种对缩放采样效率的分析将对指导LDMs的未来发展起到关键作用，特别是在广泛的实际应用中平衡模型规模与性能和效率方面。

图片

图片

然而，该研究还指出，当计算约束放松时，较大的模型仍然擅长生成细粒度的细节。这表明虽然较小的模型可能更有效，但在某些情况下仍然需要使用较大的模型。

2.写在最后

这项研究的影响是深远的，因为它为开发更高效的图像生成人工智能系统开辟了新的可能性。通过了解 LDM 的扩展特性以及模型大小和性能之间的权衡，研究人员和开发人员可以创建在效率和质量之间取得平衡的 AI 模型。

这些发现符合人工智能社区的最新趋势，即 LLaMa 和 Falcon 等小型语言模型在各种任务中的表现都优于大型语言模型。推动构建开源、更小、更高效的模型的目的是使人工智能领域民主化，让开发人员能够构建自己的人工智能系统，这些系统可以在单个设备上运行，而不需要大量的计算资源。 

不得不说，在 GenAI 领域，有那么一点“大行不顾细谨，大礼不辞小让”的感觉。

参考链接：https://arxiv.org/pdf/2404.01367.pdf

想了解更多AIGC的内容，请访问：

51CTO AI.x社区

https://www.51cto.com/aigc/