AIHOT · AI 精选· noreply@aihot.news (vLLM 官方博客)·· 21 小时前精选AI 评分82
vLLM 提供 Muse Spark Open Day 0 支持
AI 导读
vLLM 与 Meta Superintelligence Labs 合作,在发布当天即支持开源 MoE 模型 Muse Spark Open。该模型总参数 816B、每 token 激活 42B、上下文窗口 1M,面向长程智能体编码工作流。vLLM 提供了 Nvidia 和 AMD 的预构建镜像及 DSpark 投机解码配置,并支持 LoRA RL 训练。
推荐理由
vLLM官方给出了Muse Spark Open的架构细节、量化版本与完整部署命令,读者可直接照此在生产环境上手推理与LoRA RL。
来源:AIHOT · AI 精选 · aihot.news