36氪 · 文章· 机器之心·· 2 小时前精选AI 评分78
DeepSeek 开源推理框架 DeepInfer,披露单集群日吞吐 155 万亿 token
DeepSeek开源推理框架,有人算出AI的毛利:82%
AI 导读
DeepSeek 于 10 月 20 日开源内部推理框架 DeepInfer 及配套组件 deepseek-recipe,采用 Apache 2.0 许可证,当前支持 DeepSeek-V4.1-Flash。
推荐理由
原文披露了推理框架的开源许可、硬件支持范围及每卡每小时38美元的收入数据,为评估大模型部署成本与效率提供了具体工程参考。
来源:36氪 · 文章 · 36kr.com