跳到正文
原文
AIHOT · AI 精选· noreply@aihot.news (Amazon Science)·· 2 小时前精选AI 评分80

AWS 提出 priming 方法并开源混合状态空间模型

AWS 提出 priming 方法,可将预训练 Transformer 改造成混合状态空间架构

AI 导读

AWS 团队提出 priming 方法,通过复用预训练 Transformer 权重构建混合状态空间架构,将预训练成本降低逾 99%,全流程消耗不足源模型 0.5% 的 token 预算。

推荐理由

原文给出了将预训练 Transformer 改造为混合架构的具体方法与开源模型,开发者可据此评估降低长上下文推理成本的技术路径。

来源:AIHOT · AI 精选 · aihot.news