36氪 · 文章· 新智元·· 2 小时前精选AI 评分87
DeepSeek开源自研推理框架DeepInfer及Token编解码组件deepseek-recipe
突发,DeepSeek重磅开源核心推理引擎
AI 导读
DeepSeek全面开源自研推理框架DeepInfer和生产级Token编解码组件deepseek-recipe,支持英伟达SM100 GPU和华为昇腾950 NPU。
推荐理由
原文披露了DeepSeek推理引擎的架构设计与线上实测数据,为评估大模型部署成本与性能优化提供了具体技术参考。
来源:36氪 · 文章 · 36kr.com