微软CTO：AI大模型的“Scaling Law”还能走多远

Kevin Scott表示，过去20年里，人工智能领域最重要的进步都与“规模”有关；OpenAI的潜力在于未来可能成为构建AI平台的基础；数据的质量比数量更重要。

在新范式下，LLM 领域的 scaling law 会发生变化：计算量变大仍会带来模型智能的提升，但会从模型参数量变大，转移到 inference-time compute 增加，也就是模型进行更多 RL 探索。

沿着 Scaling Law、卷模型性能，可能会走到「死胡同」。

从披露的数据来看，我们可以认为Scaling Law有效，不过这次不是堆数据而是堆机器和优化算法。那不管多贵，都意味着这个行业解决问题的价值在增加，所以这个行业安全了。但很多AI大模型公司是真的危险了，因为下一步跟进的成本越来越贵。

进入21世纪以来，随着欧元横空出世并一度走强，曾令美国金融资本代言人罗杰...