前往原文
全网热点
综合
热点
娱乐
财经
科技
游戏
社区
购物
开发
区块链
华尔街见闻
.
资讯最新
21
代码论文全开源!月之暗面发布重磅技术报告:模型训练效率翻倍
资讯最新
·
华尔街见闻
·
2025/02/23 16:42:08
·
前往原文
AI 摘要
前往原文
月之暗面推出了一个全新的优化器Muon,并基于此训练出了3B/16B参数的混合专家模型 (MoE)——Moonlight。Moonlight在训练效率上实现了200%倍提升,并且一举突破了现有大语言模型的性能边界,Muon扩展的关键秘诀包括加入权重衰减 (Weight Decay)、精细调整参数更新尺度。
前往原文
相关资讯
代码论文全开源!月之暗面发布重磅技术报告:模型训练效率翻倍
AI 摘要
月之暗面推出了一个全新的优化器Muon,并基于此训练出了3B/16B参数的混合专家模型 (MoE)——Moonlight。Moonlight在训练效率上实现了200%倍提升,并且一举突破了现有大语言模型的性能边界,Muon扩展的关键秘诀包括加入权重衰减 (Weight Decay)、精细调整参数更新尺度。
资讯最新
·
华尔街见闻
·
2025年2月23日
·
前往原文
月之暗面又放了个大招
AI 摘要
AI竞赛。
资讯最新
·
华尔街见闻
·
2024年10月24日
·
前往原文
MoE模型训练效率飞跃!DeepSeek开源周第二日:开源EP通信库
AI 摘要
据介绍,DeepEP是全球首个专为混合专家模型(MoE)和专家并行(EP)定制的开源高性能通信库,旨在解决大规模AI模型训练与推理中的通信瓶颈问题。
资讯最新
·
华尔街见闻
·
2025年2月25日
·
前往原文
如何评价DeepSeek自称开源?但似乎并未开源(Open Source),仅为Open Model?
AI 摘要
我对开源的理解,最早源于Linux开源和CFD开源模型(如Open Foam),对计算机领域,特别是大模型LLM领域的开源不太了解。我认为的开源主要强调代码透明性和社区协作!但是DeepSeek官方说自己开源模型权重(今天,我们正式发布 DeepSeek-R1,并同步开源模型权重。DeepSeek-R1 遵循 MIT License,允许用户通过蒸馏技术借助 R1 训练其他模型。)。news media却说是开源,但我未找到任何关于De......
11万热度
·
知乎热榜
·
知乎
·
2025年2月01日
·
前往原文
如何看待月之暗面发布对标 OpenAI o1 的推理模型 k0-math?
AI 摘要
11月16日,月之暗面Kimi Chat宣布推出新一代数学推理模型k0-math。 基准测试显示,Kimi k0-math的数学能力可对标全球领先的OpenAI o1系列可公开使用的两个模型:o1-mini和o1-preview。在中考、高考、考研以及包含入门竞赛题的MATH等4个数学基准测试中,k0-math初代模型成绩超过o1-mini和o1-preview模型。在两个难度更大的竞赛级别的数学题库OMNI-MATH和AIME基准测试......
11万热度
·
知乎热榜
·
知乎
·
2024年11月18日
·
前往原文
月之暗面事件透析,如果 Kimi 没出圈?
AI 摘要
随着阿里入局,腾讯也紧随而至,资金实力大涨的Kimi才得以放开手脚,最终走向出圈。分析认为,“双方矛盾主要基于月之暗面估值大涨,但几家机构未能参投的落差”。最后的结果大概率是彼此商量出一个满意的赔偿金额或者赔偿股份,了结这场纷争。
资讯最新
·
华尔街见闻
·
2024年12月10日
·
前往原文
Solayer发布首个开源SolanaLRT代码库
精选快讯
·
金色财经
·
2024年10月25日
·
前往原文
Meta发布开源大模型Llama 4
164W
·
网易热搜
·
网易热榜
·
2025年4月06日
·
前往原文
月之暗面创始人被申请仲裁!最新回应来了
汇总榜
·
新浪财经
·
2024年11月12日
·
前往原文
月之暗面创始人杨植麟回应仲裁风波
205W
·
网易热搜
·
网易热榜
·
2024年12月07日
·
前往原文
华尔街见闻
相关榜单
资讯最新
热点推荐
换一批
1
直击高考第三天
2
俄军投放3吨重磅炸弹轰炸乌军驻地
3
大国工程好消息不断
4
化学考生喊话出题人:下届出难点吧
5
入梅后的绍兴长啥样
6
新华社记者在洛杉矶中催泪弹
热
7
副部级高以忱被查
新
8
辽宁省委书记:政府要带头讲诚信
新
9
甜美考生回应火了:兴奋又紧张
新
10
外卖单王送餐途中身亡?纯属谣言
11
美22个民主党州长表态支持加州州长
热
12
北大回应“韦神”健康问题
热
14
美国加州会爆发内战吗
热
15
媒体:韦东奕的社交账号是一块试金石
热
16
高考生连续3场第一个冲出考场
热
18
Labubu原价9千拍出2万2
20
牛弹琴:美国“内战”开始了
热
21
马斯克的“星链”卫星突然大批坠落
新
22
不吃荤菜衰老更快?专家回应
23
三弹齐发射向洛杉矶抗议人群
24
考生喊话李华不要读大学了
25
央视不转播国足收官战
26
萌娃自己还是宝宝就知道保护妹妹
新
27
今年高考最尴尬的采访
28
“三无”防晒衣一年卖出超30万件
29
B席:对球迷摔下看台身亡表示哀悼
31
樊振东取得2025乒超开门红
新
32
女子被狗吓跌倒 狗主人立马教训狗
33
C罗40岁夺生涯第36冠 赛后激动落泪
34
济南街头金色宾利硬核应援高考生
新
35
多地家电“国补”暂停
36
冲绳驻日美军基地内发生爆炸
37
高考作文“钉子户”李华又来了
38
西方为何纷纷搬出中国应对特朗普
39
马斯克父亲为何此时曝光马斯克患病
40
加州洛杉矶骚乱对特朗普政府有何影响
41
评论员:俄军拉开报复大幕
42
输印尼中国丢掉15.05个FIFA积分
43
特朗普有权调动国民警卫队吗
新
44
特朗普登机时差点绊倒
45
中方欢迎特朗普访华背后有何考量
47
男孩发烧 父亲欲进景区背其就医被拦
48
曝文班亚马将在少林寺闭关修行10天
49
特朗普令三部长联手“解放洛杉矶”
50
加州州长:不需要联邦政府协助执法