AIHOT · AI 精选· noreply@aihot.news (Google Developers Blog)·· 1 天前精选AI 评分78
Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎
AI 导读
Google 推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact 和 RadixArk 合作开发,支持智能体、多模态及长上下文等生产级工作负载。
推荐理由
原文给出了两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。
来源:AIHOT · AI 精选 · aihot.news