CONNECTED RESEARCH

知识地图

从公司、技术和研究问题探索关联内容,每条关系都能追溯到原文和证据。

55 / 55 篇文章已有审核导读 · 202 条已审核关系

AdamW

AdamWAdamWMuonMuon

点击关联节点继续探索;展开下方证据,区分来源事实、文章分析和条件性假设。

来源事实

Muon → 比较 → AdamW

Moonshot AI报告,在计算量最优训练条件下,采用整体设计的Muon计算效率约为AdamW的两倍。该结果既未隔离各项调整的贡献,也未证明其他模型、硬件和配置能获得同等收益。

查看关系证据
项目方称,这些调整提高了训练稳定性;在采用整体方案且处于计算量最优训练条件的扩展实验中,Muon的计算效率约为AdamW的2倍。

[S6] Moonshot AI

阅读完整研究

关联研究

ai

Moonshot称Muon训练计算效率约为AdamW两倍,智谱与Qwen展示Agent和安全模型

Muon报告的训练收益、可复用本地神经函数以及Agent与安全模型发布说明了什么,又在什么条件下可能改变远程模型工作负载?

文章区分实验结果、厂商描述和有条件的产业分析,解释Muon的计算效率比较、Compile by Training将教师模型工作集中到编译阶段的安排,以及智谱和Qwen分别展示的Agent与安全组件。