北邮团队提出MiTA：基于快权重视角的高效注意力新框架

北京邮电大学团队提出Mixture-of-Top-k Attention（MiTA），将标准注意力重新解释为由当前输入生成权重的FFN，并据此设计可复用的Top-k专家以平衡全局概括与细节检索。该工作已被NeurIPS 2026接收且代码开源，实验显示在ImageNet分类中准确率接近完整注意力但FLOPs更低，在长序列任务中训练时间减少约77%，推理吞吐量随序列增长显著加速。