跳到正文
原文
AIHOT · AI 精选· noreply@aihot.news (vLLM 官方博客)·· 21 小时前精选AI 评分82

vLLM 提供 Muse Spark Open Day 0 支持

AI 导读

vLLM 与 Meta Superintelligence Labs 合作,在发布当天即支持开源 MoE 模型 Muse Spark Open。该模型总参数 816B、每 token 激活 42B、上下文窗口 1M,面向长程智能体编码工作流。vLLM 提供了 Nvidia 和 AMD 的预构建镜像及 DSpark 投机解码配置,并支持 LoRA RL 训练。

推荐理由

vLLM官方给出了Muse Spark Open的架构细节、量化版本与完整部署命令,读者可直接照此在生产环境上手推理与LoRA RL。

来源:AIHOT · AI 精选 · aihot.news