蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，支持从 Turing 起的 NVIDIA GPU 及平头哥镇岳 810E 等设备。该库通过统一量化表示与 JIT 编译实现稠密与 MoE 工作负载的高效执行，在 DeepSeek-V4.1-Flash 端到端测试中使吞吐提升约 14%–43%，首 token 时延降低约 25%–32%。