36氪 · 文章· 新智元·· 2 小时前精选AI 评分80
清华团队开源 Puro-2B:RTX5090 集群预训练成本低于 5090 美元
小团队也能预训练,普罗2B:RTX5090训练成本不到5090美元
AI 导读
清华大学陈文光与吕凯风教授团队推出全流程开源的 Puro-2B(普罗-2B)预训练方案,在 RTX 5090 计算集群上以约 4400 美元成本训练出约 20 亿参数模型,15 项任务平均指标超过 Qwen2-1.5B。
推荐理由
原文公开了基于消费级显卡的预训练全流程与成本性能曲线,为小团队评估低成本模型训练可行性提供了具体参考。
来源:36氪 · 文章 · 36kr.com