llm-d 1.0发布：Kubernetes原生分布式推理服务

由IBM、Red Hat和Google等主导的开源推理项目llm-d在PyTorch Conference North America上正式发布了1.0版本。作为一个Kubernetes原生的分布式推理服务框架，llm-d 1.0旨在支持任意模型、任意加速器和任意云环境。此次发布标志着该项目从早期阶段走向生产就绪状态，为品牌零售数字化中的AI基础设施提供了新的标准化解决方案，简化了在复杂异构环境下部署大规模语言模型推理服务的流程。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。