AIHOT · AI 精选· noreply@aihot.news (Amazon Science)·· 2 小时前精选AI 评分80
AWS 提出 priming 方法并开源混合状态空间模型
AWS 提出 priming 方法,可将预训练 Transformer 改造成混合状态空间架构
AI 导读
AWS 团队提出 priming 方法,通过复用预训练 Transformer 权重构建混合状态空间架构,将预训练成本降低逾 99%,全流程消耗不足源模型 0.5% 的 token 预算。
推荐理由
原文给出了将预训练 Transformer 改造为混合架构的具体方法与开源模型,开发者可据此评估降低长上下文推理成本的技术路径。
来源:AIHOT · AI 精选 · aihot.news