跳到正文
原文
36氪 · 文章· 新智元·· 2 小时前精选AI 评分80

清华团队开源 Puro-2B:RTX5090 集群预训练成本低于 5090 美元

小团队也能预训练,普罗2B:RTX5090训练成本不到5090美元

AI 导读

清华大学陈文光与吕凯风教授团队推出全流程开源的 Puro-2B(普罗-2B)预训练方案,在 RTX 5090 计算集群上以约 4400 美元成本训练出约 20 亿参数模型,15 项任务平均指标超过 Qwen2-1.5B。

推荐理由

原文公开了基于消费级显卡的预训练全流程与成本性能曲线,为小团队评估低成本模型训练可行性提供了具体参考。

来源:36氪 · 文章 · 36kr.com