前往原文
全网热点
综合
热点
娱乐
财经
科技
游戏
社区
购物
开发
区块链
华尔街见闻
.
资讯最新
21
代码论文全开源!月之暗面发布重磅技术报告:模型训练效率翻倍
资讯最新
·
华尔街见闻
·
2025/02/23 16:42:08
·
前往原文
AI 摘要
前往原文
月之暗面推出了一个全新的优化器Muon,并基于此训练出了3B/16B参数的混合专家模型 (MoE)——Moonlight。Moonlight在训练效率上实现了200%倍提升,并且一举突破了现有大语言模型的性能边界,Muon扩展的关键秘诀包括加入权重衰减 (Weight Decay)、精细调整参数更新尺度。
前往原文
相关资讯
代码论文全开源!月之暗面发布重磅技术报告:模型训练效率翻倍
AI 摘要
月之暗面推出了一个全新的优化器Muon,并基于此训练出了3B/16B参数的混合专家模型 (MoE)——Moonlight。Moonlight在训练效率上实现了200%倍提升,并且一举突破了现有大语言模型的性能边界,Muon扩展的关键秘诀包括加入权重衰减 (Weight Decay)、精细调整参数更新尺度。
资讯最新
·
华尔街见闻
·
2025年2月23日
·
前往原文
月之暗面又放了个大招
AI 摘要
AI竞赛。
资讯最新
·
华尔街见闻
·
2024年10月24日
·
前往原文
MoE模型训练效率飞跃!DeepSeek开源周第二日:开源EP通信库
AI 摘要
据介绍,DeepEP是全球首个专为混合专家模型(MoE)和专家并行(EP)定制的开源高性能通信库,旨在解决大规模AI模型训练与推理中的通信瓶颈问题。
资讯最新
·
华尔街见闻
·
2025年2月25日
·
前往原文
如何评价DeepSeek自称开源?但似乎并未开源(Open Source),仅为Open Model?
AI 摘要
我对开源的理解,最早源于Linux开源和CFD开源模型(如Open Foam),对计算机领域,特别是大模型LLM领域的开源不太了解。我认为的开源主要强调代码透明性和社区协作!但是DeepSeek官方说自己开源模型权重(今天,我们正式发布 DeepSeek-R1,并同步开源模型权重。DeepSeek-R1 遵循 MIT License,允许用户通过蒸馏技术借助 R1 训练其他模型。)。news media却说是开源,但我未找到任何关于De......
11万热度
·
知乎热榜
·
知乎
·
2025年2月01日
·
前往原文
如何看待月之暗面发布对标 OpenAI o1 的推理模型 k0-math?
AI 摘要
11月16日,月之暗面Kimi Chat宣布推出新一代数学推理模型k0-math。 基准测试显示,Kimi k0-math的数学能力可对标全球领先的OpenAI o1系列可公开使用的两个模型:o1-mini和o1-preview。在中考、高考、考研以及包含入门竞赛题的MATH等4个数学基准测试中,k0-math初代模型成绩超过o1-mini和o1-preview模型。在两个难度更大的竞赛级别的数学题库OMNI-MATH和AIME基准测试......
11万热度
·
知乎热榜
·
知乎
·
2024年11月18日
·
前往原文
月之暗面事件透析,如果 Kimi 没出圈?
AI 摘要
随着阿里入局,腾讯也紧随而至,资金实力大涨的Kimi才得以放开手脚,最终走向出圈。分析认为,“双方矛盾主要基于月之暗面估值大涨,但几家机构未能参投的落差”。最后的结果大概率是彼此商量出一个满意的赔偿金额或者赔偿股份,了结这场纷争。
资讯最新
·
华尔街见闻
·
2024年12月10日
·
前往原文
Solayer发布首个开源SolanaLRT代码库
精选快讯
·
金色财经
·
2024年10月25日
·
前往原文
Meta发布开源大模型Llama 4
164W
·
网易热搜
·
网易热榜
·
2025年4月06日
·
前往原文
月之暗面创始人被申请仲裁!最新回应来了
汇总榜
·
新浪财经
·
2024年11月12日
·
前往原文
月之暗面创始人杨植麟回应仲裁风波
205W
·
网易热搜
·
网易热榜
·
2024年12月07日
·
前往原文
华尔街见闻
相关榜单
资讯最新
热点推荐
换一批
1
台湾网红馆长被投喂茶叶蛋榨菜
热
2
高考完挑扁担回家女孩的班主任发声
热
3
技术赋能 汇聚网络向善力量
4
台网红“馆长”直播游大陆吓坏了谁
热
5
比亚迪将供应商支付账期统一至60天
6
高考结束挑行李回家的女生找到了
热
7
樊振东七连胜
热
8
华为Pura 80对比Mate70有啥区别
热
9
我国三代深潜器不断升级逐梦深蓝
10
官方辟谣开封彩虹桥有人跳桥
新
11
淘宝中小商家集体吐槽最差618
12
加州州长含泪喊话民众“不要屈服”
新
13
岳云鹏演唱会最高票价高过凤凰传奇
新
14
普通二本学生的出路在哪里
15
台风“蝴蝶”对我国影响会有多大
热
16
特朗普:“可以”原谅马斯克 不怪他
热
17
美国军火商为何拿不到中国的稀土
18
华为连发4款新机要正面硬刚iPhone吗
19
朱时茂陈佩斯排练曾吵到骂起来
20
马斯克为何这么快就认怂了
21
离职高管谈阿里大公司病 马云回应
22
特朗普为何高调宣称中美谈判进展顺利
23
今年第1号台风蝴蝶轨迹直播
24
主持警示大会1天后 县委书记落马
25
蔡正元谈台湾网红馆长直播吓坏绿营
26
高考结束挑行李回家的女生想当老师
27
加州州长“一战成名”会瞄准大选吗
28
媒体:“台独”鼠辈破防的日子才开始
29
治疗渐冻症的“神药”落地杭州
30
媒体人:稀土出口印度中方必须谨慎
31
男孩高考完说想去见一个姑娘
32
评论员:中美谈判给市场吃定心丸
新
33
“张伟跪母”为何让我们泪流满面
34
郭德纲跟于谦的相声从不彩排
35
台网红:现在台湾人看大陆电视剧了
36
中方:已与美方协议上达成框架
37
学者:普京下狠手 泽连斯基危险了
38
媒体评比亚迪等车企账期统一至60天
39
中美新一轮贸易谈判出了哪些成果
40
华为年度重磅旗舰的黑科技细节
41
台湾网红馆长说让台民众看看谁说谎
42
日本该如何理性看待中国航母现身西太
新
43
华为Pura80 Pro版本6499元起售
44
“红黄蓝”外卖大战玩起谐音梗
新
45
学者:美代表没法向特朗普交差
46
印度为何又将矛头对准中方
47
小马科斯弹劾萨拉失败的影响有多大
48
高考结束男生走出考场跪谢父亲
49
硬刚特朗普的加州州长有何背景
50
媒体人:俄军或拿下泽连斯基老家