AIHOT · AI 精选· noreply@aihot.news (Microsoft AI:官方博客)·· 2 小时前精选AI 评分82
Microsoft AI 公布 MAI-Base-2 预训练细节,2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍
AI 导读
Microsoft AI 宣布完成 MAI-Base-2 预训练,这是一个 800 亿激活、2.8T 总参数的 MoE 基础模型,在 held-out 评测中 BPB 低于所测全部开源权重模型,预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.2 至 12.3 倍。
推荐理由
官方披露了MAI-Base-2的预训练方法,读者可以从中了解scaling ladder、Muon优化和多轮dropless MoE等可借鉴的工程细节。
来源:AIHOT · AI 精选 · aihot.news