DeepMind研究员爆料：OpenAI Scaling Law原始论文有致命bug，全球AI万亿算力或被浪费！

Scaling Law竟是LLM版「地心说」过去五年整个AI行业都被Scaling Law推着往前冲奥特曼坚信AGI的底气就来自这条曲线。但当年就在OpenAI做大模型优化的研究员Diogo Almeida指出最初那版scaling law是错的因为存在一个bug。DeepMind以扩散模型封神的Sander Dieleman也表示原始scaling law大概率害得业界在一堆「体量过大、训练不足」的模型上白白烧掉了海量算力。2020年OpenAI给出结论在固定的算力预算下应优先把模型做大而不是拿更多数据去喂它。这句话直接定义了GPT - 3那一代的长相就是堆参数。两年后DeepMind的Chinchilla把这个结论掀了个底朝天认为模型和数据应差不多同等重要地一起放大。不过2024年Besiroglu等人发现Chinchilla自己的拟合里也藏着bug。OpenAI三招骗了全球AI同行要制造一个让全球AI集体相信的谎言OpenAI只需三步。第一步是囚禁数据OpenAI论文给所有模型喂了相同的「饭量」导致小模型被「喂饱」大模型却严重营养不良。第二步是掩耳盗铃的LR衰减使用余弦学习率衰减让学习率在训练接近终点时趋近于零制造出模型已饱和的假象。第三步是权威的傲慢论文称结果「基本不受学习率曲线影响」但这只适用于有限条件不适用于「数据无限」的理想世界。GPU被白白浪费 算力错配严重受OpenAI错误公式的指引AI行业进入了「大力出奇迹」的时代全球最聪明的头脑、最稀缺的算力都浪费在了无效的规模扩张上。研究者Adam Zachary Wasserman指出目前的Scaling Law只是「英语Scaling Law」因为英语是一种「形态贫乏」的语言太依赖分布规律需要模型在海量数据中去猜词义。而像法语、中文这种形态丰富或结构严密的语言在词汇本身就带有大量明确信息。这意味着现在所有的算力配比方案都是基于一种最「吃数据」、最低效的语言制定的。