SGLang原生支持Reflection Beam模型

2026年10月16日，SGLang团队宣布原生支持Reflection推出的501B参数混合专家模型Beam，并为其生产API提供底层驱动支持。此次集成旨在优化大规模模型的推理效率，引入了BF16、NVFP4和动态FP8检查点支持，以及DFlash2投机解码等关键技术特性。在性能测试方面，报道指出该方案在4块NVIDIA GB300 GPU上运行OpenHands多轮智能体编码回放任务时表现优异，特别是在并发数为32的情况下，实现了每GPU每秒127.6K总token的高吞吐量。这一进展标志着SGLang框架对前沿大模型架构的适配能力进一步增强，为Reflection的生产环境部署提供了高效的技术支撑。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。