AI 摘要
前往原文"如果把参数规模扩大x倍，模型能力就会得到y倍的提升" ——这条支撑着AI领域几年狂飙突进的Scaling Law，似乎正在走向尽头。 从GPT-3到GPT-4，从BERT到PaLM，AI的进化史几乎就是一部算力竞赛史。但最近的发展却给这个故事带来了转折：Claude 3在维持3.2B上下文的同时显著压缩了参数规模；Anthropic的研究人员公开表示"更大的模型未必更好"；DeepMind在近期论文中更是直指Scaling Law在逼近人类认知能力时可能存在根本性限制。 当千亿参数、万亿tokens逐渐成为标配，简单的堆料堆算力似乎越来越难以带来质的飞跃。这不禁让人思考：是我们对Scaling Law的理解还不够深入，还是这条路径本身就存在天花板？基座大模型的下一个突破点究竟在哪？ 此问题为知乎「互联网破局者」活动定制内容，欢迎大家一同探讨大模型未来演进方向。
相关资讯
AI 摘要
"如果把参数规模扩大x倍，模型能力就会得到y倍的提升" ——这条支撑着AI领域几年狂飙突进的Scaling Law，似乎正在走向尽头。 从GPT-3到GPT-4，从BERT到PaLM，AI的进化史几乎就是一部算力竞赛史。但最近的发展却给这个故事带来了转折：Claude 3在维持3.2B上下文的同时显著压缩了参数规模；Anthropic的研究人员公开表示"更大的模型未必更好"；DeepMind在近期论文中更是直指Scaling Law在逼......
AI 摘要
Kevin Scott表示，过去20年里，人工智能领域最重要的进步都与“规模”有关；OpenAI的潜力在于未来可能成为构建AI平台的基础；数据的质量比数量更重要。
AI 摘要
天风宏观认为，从长远看，不管中国企业出海的动机是主动还是被动，最后都汇集到了国际化这条必经之路上。它们通过出海变成了一张更大的网，把产业链、供应链、利益链分散了到更多国家和地区，这也是中国的scaling law。
AI 摘要
大模型的问题不是 Scaling Law 失效，而是缺少足够多的数据。
AI 摘要
在新范式下，LLM 领域的 scaling law 会发生变化：计算量变大仍会带来模型智能的提升，但会从模型参数量变大，转移到 inference-time compute 增加，也就是模型进行更多 RL 探索。
AI 摘要
沿着 Scaling Law、卷模型性能，可能会走到「死胡同」。
AI 摘要
分析指出，相比传统的堆砌计算能力和数据的训练方法，被称为“测试时计算”（Test-time Compute）的新方法更有助于提高AI模型的预测能力，这种方法能够让AI模型在回答问题前，有更多时间和计算资源进行“思考”。专家指出，如果测试时计算成为扩展AI系统的下一步，对专注于高速推理的AI芯片的需求可能会大幅增加。
相关榜单
热点推荐
换一批