前往原文
全网热点
综合
热点
娱乐
财经
科技
游戏
社区
购物
开发
区块链
华尔街见闻
.
资讯最新
21
代码论文全开源!月之暗面发布重磅技术报告:模型训练效率翻倍
资讯最新
·
华尔街见闻
·
2025/02/23 16:42:08
·
前往原文
AI 摘要
前往原文
月之暗面推出了一个全新的优化器Muon,并基于此训练出了3B/16B参数的混合专家模型 (MoE)——Moonlight。Moonlight在训练效率上实现了200%倍提升,并且一举突破了现有大语言模型的性能边界,Muon扩展的关键秘诀包括加入权重衰减 (Weight Decay)、精细调整参数更新尺度。
前往原文
相关资讯
代码论文全开源!月之暗面发布重磅技术报告:模型训练效率翻倍
AI 摘要
月之暗面推出了一个全新的优化器Muon,并基于此训练出了3B/16B参数的混合专家模型 (MoE)——Moonlight。Moonlight在训练效率上实现了200%倍提升,并且一举突破了现有大语言模型的性能边界,Muon扩展的关键秘诀包括加入权重衰减 (Weight Decay)、精细调整参数更新尺度。
资讯最新
·
华尔街见闻
·
2025年2月23日
·
前往原文
月之暗面又放了个大招
AI 摘要
AI竞赛。
资讯最新
·
华尔街见闻
·
2024年10月24日
·
前往原文
MoE模型训练效率飞跃!DeepSeek开源周第二日:开源EP通信库
AI 摘要
据介绍,DeepEP是全球首个专为混合专家模型(MoE)和专家并行(EP)定制的开源高性能通信库,旨在解决大规模AI模型训练与推理中的通信瓶颈问题。
资讯最新
·
华尔街见闻
·
2025年2月25日
·
前往原文
如何评价DeepSeek自称开源?但似乎并未开源(Open Source),仅为Open Model?
AI 摘要
我对开源的理解,最早源于Linux开源和CFD开源模型(如Open Foam),对计算机领域,特别是大模型LLM领域的开源不太了解。我认为的开源主要强调代码透明性和社区协作!但是DeepSeek官方说自己开源模型权重(今天,我们正式发布 DeepSeek-R1,并同步开源模型权重。DeepSeek-R1 遵循 MIT License,允许用户通过蒸馏技术借助 R1 训练其他模型。)。news media却说是开源,但我未找到任何关于De......
11万热度
·
知乎热榜
·
知乎
·
2025年2月01日
·
前往原文
如何看待月之暗面发布对标 OpenAI o1 的推理模型 k0-math?
AI 摘要
11月16日,月之暗面Kimi Chat宣布推出新一代数学推理模型k0-math。 基准测试显示,Kimi k0-math的数学能力可对标全球领先的OpenAI o1系列可公开使用的两个模型:o1-mini和o1-preview。在中考、高考、考研以及包含入门竞赛题的MATH等4个数学基准测试中,k0-math初代模型成绩超过o1-mini和o1-preview模型。在两个难度更大的竞赛级别的数学题库OMNI-MATH和AIME基准测试......
11万热度
·
知乎热榜
·
知乎
·
2024年11月18日
·
前往原文
月之暗面事件透析,如果 Kimi 没出圈?
AI 摘要
随着阿里入局,腾讯也紧随而至,资金实力大涨的Kimi才得以放开手脚,最终走向出圈。分析认为,“双方矛盾主要基于月之暗面估值大涨,但几家机构未能参投的落差”。最后的结果大概率是彼此商量出一个满意的赔偿金额或者赔偿股份,了结这场纷争。
资讯最新
·
华尔街见闻
·
2024年12月10日
·
前往原文
Solayer发布首个开源SolanaLRT代码库
精选快讯
·
金色财经
·
2024年10月25日
·
前往原文
Meta发布开源大模型Llama 4
164W
·
网易热搜
·
网易热榜
·
2025年4月06日
·
前往原文
月之暗面创始人被申请仲裁!最新回应来了
汇总榜
·
新浪财经
·
2024年11月12日
·
前往原文
月之暗面创始人杨植麟回应仲裁风波
205W
·
网易热搜
·
网易热榜
·
2024年12月07日
·
前往原文
华尔街见闻
相关榜单
资讯最新
热点推荐
换一批
1
中美经贸磋商达成原则一致
新
2
国台办回应20名台湾黑客遭通缉
3
技术赋能 汇聚网络向善力量
新
4
台网红“馆长”直播游大陆吓坏了谁
热
5
高考结束挑行李回家的女生找到了
热
6
网警说·安全丨当心你的隐私被共享
7
主持警示大会1天后 县委书记落马
新
8
马斯克:后悔发特朗普相关帖子
热
9
种粮大户的“丰收密码”
新
10
广西整座山轰然倒塌?不实
11
台湾网红馆长被投喂茶叶蛋榨菜
12
台湾网红馆长说让台民众看看谁说谎
热
13
比亚迪将供应商支付账期统一至60天
新
14
中方:已与美方协议上达成框架
热
15
台网红馆长给同行人科普磁悬浮列车
热
16
专家:歼35或激发多国采购欲望
17
媒体人:特朗普对华心态正在改变
18
台湾网红馆长承认曾受影响骂过大陆
19
李大霄:中国股市或总攻3400点
20
“长安的荔枝”最有可能来自重庆涪陵
21
高考完挑扁担回家女孩的班主任发声
22
河南省委:以铁腕刹住违规吃喝歪风
23
解放军将赴蒙古国演习释放什么信号
24
女生收到姐夫送的“考完三件套”
25
河南教师渐冻症离世成大体老师
26
Labubu凭什么造就河南首富
27
专家解读车企承诺账期缩至60天
28
隐瞒不报境外房产 隋军被双开
新
29
美国有多依赖中国的稀土
30
樊振东王楚钦2025年第一战有望上演
热
31
小学楼顶光伏板掉落砸伤学生致1死
新
32
伊朗总统重提中伊25年之约有何目的
新
33
海南省委原书记罗保铭被公诉
热
34
妈妈分享孩子高考前后伙食对比
35
参加阅兵的美军坦克停放华盛顿街头
新
36
韩乔生点评印尼队被日本队6-0吊打
37
赵丽颖新造型被吐槽“裹床单”
38
东航回应男子炫富称父母负责招飞
39
郑钦文伦敦站第二轮将对阵凯斯勒
新
40
小狗凌晨从老家跑3公里看主人
41
洛杉矶现“零元购” 苹果等店遭洗劫
42
“涨工资”要来了吗
43
马英九6月中旬将率团再访大陆
44
中国双航母编队首次远洋传递啥信号
45
加州为什么敢对特朗普这么强硬
46
爸爸手举爱豆立牌接女儿出考场
47
城乡居民医保补助标准再增加30元
48
小米汽车账期统一至60天内
49
特朗普:焚烧美国国旗应被判处监禁
50
专家:李在明会主动请求来华访问