AIHOT · AI 精选· noreply@aihot.news (LMSYS Blog)·· 2 天前精选AI 评分78
SGLang 发布 Low-Latency Mode,通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟
AI 导读
SGLang 团队推出 Low-Latency Mode,利用插件框架引入专用内核以大幅降低推理延迟。
推荐理由
SGLang 推出低延迟模式,通过插件框架在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟,提供了具体的内核优化路径与实测性能数据。
来源:AIHOT · AI 精选 · aihot.news