跳到正文
原文
AIHOT · AI 精选· noreply@aihot.news (vLLM 官方博客)·· 15 小时前精选AI 评分80

vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持

AI 导读

vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型(501B 参数 MoE,每 token 激活 23B),并在 NVIDIA Blackwell 上完成优化。该支持包含完整功能开箱即用、智能体驱动的 kernel 优化使 batch-1 解码提速 2.71 倍,以及带自适应验证的 DFlash2 推测解码技术,在高并发下可额外提升 10% 吞吐量。

推荐理由

原文披露了vLLM对Reflection Beam模型的具体优化数据、部署命令及架构细节,为评估大模型推理落地配置与吞吐收益提供了直接参考。

来源:AIHOT · AI 精选 · aihot.news