36氪 · 文章· 36氪的朋友们·· 1 小时前精选AI 评分80
DeepSeek开源推理框架DeepInfer,兼容英伟达与华为昇腾
DeepSeek全面开源推理框架:兼容英伟达、华为昇腾芯片,单集群日吞吐155万亿Token,每卡每小时收入38美元
AI 导读
DeepSeek全面开源内部推理框架DeepInfer及Token编解码组件deepseek-recipe,支持在英伟达与华为昇腾平台运行。基于该框架,DeepSeek V4.1 Flash单集群日吞吐达155万亿Token,按谷电价计算每卡每小时收入38美元。
推荐理由
原文披露了兼容英伟达与华为昇腾的推理框架及具体吞吐数据,为评估大规模模型部署降本增效提供了技术参考。
来源:36氪 · 文章 · 36kr.com