4050亿参数！Meta或将7月23日发布迄今最强大Llama 3模型

今年4月发布8B和70B两个版本的Llama 3模型时，Meta预告，该模型最大参数规模超4000亿，训练token超15万亿。本周五媒体获悉，4050亿参数的Llama 3也将是多模态模型，未透露是否开源。

本次共发布三款Llama 3.1模型，其中Llama 3.1 405B包含4050亿个参数，这是Meta迄今为止最大的模型。扎克伯格称Llama 3.1为“艺术的起点”，将对标OpenAI和谷歌公司的大模型。同时，Meta和英伟达实现强强联手，英伟达AI Foundry将为全球企业提供Llama 3.1模型的定制服务。

媒体称，Llama一直难以在亚马逊的云业务平台AWS上获得关注；微软的销售人员通常只向已具备数据专业知识的客户推销Llama。这可能迫使Meta设法组建自己的销售和营销团队，直接向企业客户推销产品。

IT之家 7 月 23 日消息，网友在 LocalLLaMA 子 Reddit 板块中发帖，分享了 4050 亿参数的 Meta Llama 3.1 信息，从该 AI 模型在几个关键 AI 基准测试的结果来看，其性能超越目前的领先者（OpenAI 的 GPT-4o）。 这是开源人工智能社区的一个重要里程碑，标志着开源模型可能首次击败目前最先进的闭源 LLM 模型。 如基准测试所示，Meta Llama 3.1 在 GSM8K、Hella......

Mistral Large 2拥有1230亿参数。在多个基准测试中（特别是在代码生成和数学领域），表现优异，甚至与Llama 3.1 4050亿参数相媲美。像Mistral NeMo一样，它经过大量源代码和多语言数据的训练，提供高级函数调用功能。