谷歌推出的DiLoCo分布式训练方法，其Scaling Law比数据并行更稳健、更优越、更高效、更强大，其模型规模越大优势越明显，有效解决通信瓶颈，为大模型训练开辟新可能。网友称DiLoCo可能会重新定义Scaling的方式。

在人工智能（AI）日新月异的背景下，谷歌再次引领风骚，重磅推出全新的Scaling Law——DiLoCo。谷歌的研究团队在不断优化大型语言模型（LLM）训练方法的过程中，发现了一个重要的突破，可能会彻底改变未来AI算法的训练方式。本文将深入探讨这一新方法的核心概念、优势，以及对AI行业可能产生的深远影响。

新智元报道 编辑：编辑部 NJY【新智元导读】谷歌团队发现了全新Scaling Law！新方法DiLoCo被证明更好、更快、更强，可在多个数据中心训练越来越大的LLM。测试时计算之后，谷歌三大团队集众人之力，发现了全新的Scaling ...

如果Scaling Law继续有效， 继续看好AI系统组件供应商（如芯片、网络设备等），谨慎对待那些不得不持续投入巨额资本支出的科技巨头。如果预训练缩放停滞： ...