Meta深夜推出Llama 4系列 ：单卡H100能跑，千万上下文，还有2万亿“巨兽”

Llama 4 全系采用混合专家（MoE）架构，并且是原生多模态训练，不再是 Llama 3 那样的纯文本模型了。Llama 4 Scout速度极快，原生支持多模态，拥有业界领先的 1000 万+ Token 多模态上下文窗口（相当于处理 20 多个小时的视频！），并且能在单张 H100 GPU 上运行。

2025年4月6日，Meta正式发布其最新一代人工智能模型——Llama 4 Scout和Llama 4 Maverick，标志着多模态AI技术的又一重大突破。这两款模型是Meta迄今为止最先进的产品，在性能和多模态处理能力方面均达到行业领先水平。 Llama 4 Scout具备17B活动参数和16个专家模块，支持1000万token的行业领先上下文窗口。在多项权威基准测试中，其表现超越了Gemma 3、Gemini 2.0 Flash......

Meta发布Llama 4系列，强调多模态和超长上下文窗口，部分模型将开源。OpenAI确认O3和O4-mini即将上线，GPT-5推迟发布但将免费。DeepSeek与清华发布新论文，提出SPCT方法和元奖励模型，显著提升推理扩展性能。

刚刚，当地时间2025年4月5日，Meta 发布了 Llama 4 系列模型。 其中的Maveric的预览版已经登录LMArena，以1417分排行第2。 发布博客：https://ai.meta.com/blog/llama-4-multimodal-intelligence/ 模型卡：https://www.llama.com/docs/model-cards-and-prompt-formats/llama4_omni/ 模型地址......

中国AI创业公司DeepSeek最近的一系列动作让Meta的生成式AI团队陷入了恐慌，因为在前者的低成本高歌猛进下，后者无法解释自己的超高预算的合理性。Meta的Llama 3系列模型的计算预算多达3930万H100 GPU Hours—— 如此计算量足可训练DeepSeek-V3至少15次。