LLM的范式转移：RL带来新的 Scaling Law

在新范式下，LLM 领域的 scaling law 会发生变化：计算量变大仍会带来模型智能的提升，但会从模型参数量变大，转移到 inference-time compute 增加，也就是模型进行更多 RL 探索。

目前可以提高模型效果的Scaling方法，按照性价比由高到低排序的话:Test time Scaling Law RL Scaling Law预训练阶段Scaling Law。如果哪天RL Scaling Law和Test Time Scaling Law到了天花板，又没有找到新的性价比更合算的Scaling Law，仍然可以回归预训练阶段的Scaling Law。

天风宏观认为，从长远看，不管中国企业出海的动机是主动还是被动，最后都汇集到了国际化这条必经之路上。它们通过出海变成了一张更大的网，把产业链、供应链、利益链分散了到更多国家和地区，这也是中国的scaling law。

Kevin Scott表示，过去20年里，人工智能领域最重要的进步都与“规模”有关；OpenAI的潜力在于未来可能成为构建AI平台的基础；数据的质量比数量更重要。

"如果把参数规模扩大x倍，模型能力就会得到y倍的提升" ——这条支撑着AI领域几年狂飙突进的Scaling Law，似乎正在走向尽头。 从GPT-3到GPT-4，从BERT到PaLM，AI的进化史几乎就是一部算力竞赛史。但最近的发展却给这个故事带来了转折：Claude 3在维持3.2B上下文的同时显著压缩了参数规模；Anthropic的研究人员公开表示"更大的模型未必更好"；DeepMind在近期论文中更是直指Scaling Law在逼......

Alexander的观点很明确：未来 AI 智能体的发展方向还得是模型本身，而不是工作流（Work Flow）。他认为像 Manus 这样基于「预先编排好的提示词与工具路径」构成的工作流智能体，短期或许表现不错，但长期必然遇到瓶颈。这种「提示驱动」的方式无法扩展，也无法真正处理那些需要长期规划、多步骤推理的复杂任务。而下一代真正的 LLM 智能体，则是通过「强化学习（RL）与推理（Reasoning）的结合」来实现。

OpenAI大神Noam Brown表示，AI从2019年到现在，难以置信的成就都来自于数据和算力规模的扩大，但大语言模型仍然无法解决像井字棋这样的简单问题。而o1带来了Scaling的新的维度，是一种以推理计算为代表的Scaling。

谷歌推出的DiLoCo分布式训练方法，其Scaling Law比数据并行更稳健、更优越、更高效、更强大，其模型规模越大优势越明显，有效解决通信瓶颈，为大模型训练开辟新可能。网友称DiLoCo可能会重新定义Scaling的方式。