《MoA:Mixture of Sparse Attention for Automatic Large Language Model Compression》这篇论文的创新之处主要体现在以下几个方面：
1.异构弹性规则的提出
• 现有问题：传统稀疏注意力方法通常采用统一的稀疏模式，对所有注意力头和输入长度应用相同的稀疏掩码。这种模式无法捕捉大型语言模型（LLMs）中多样化的注意力模式，导致有效上下文长度受限，性能下降。
• MoA的创新：MoA提出了一种异构弹性规则，允许每个注意力头根据输入长度动态调整其注意力范围。这种规则能够更好地适应不同注意力头的特性，例如一些头关注局部上下文，而另一些头则关注全局信息。
2.自动优化流程
• 现有问题：现有的稀疏注意力方法在压缩时通常依赖于通用语料库和人工编写的输出结果，无法准确反映稀疏化对长上下文任务的具体影响。
• MoA的创新：MoA通过自动化的流程，包括梯度分析和多目标优化，为每个注意力头找到最优的稀疏配置。它首先分析不同注意力值对模型预测损失的影响，然后通过优化选择最适合的稀疏规则，以在满足内存约束的同时最小化性能损失。
3.校准数据集的设计
• 现有问题：通用语言建模数据集（如人类编写的文本语料库）主要捕获局部上下文的注意力模式，忽略了长距离依赖性，无法有效支持长上下文任务。
• MoA的创新：MoA构建了一个包含长距离依赖的数据集，并使用原始模型的响应作为监督信号，以确保准确评估注意力压缩的影响。这种设计显著提高了压缩后模型的性能。
4.显著的性能和效率提升
• 性能提升：MoA在多个基准测试中表现出色，将有效上下文长度扩展了约3.9倍，并显著提高了长文本信息检索的准确率（比基线方法高出1.5-7.1倍）。在长上下文理解任务中，MoA的最大性能下降仅为5%，远低于其他稀疏注意力方法。
• 效率提升：MoA通过减少KV-Cache的内存占用和优化注意力计算，将GPU内存减少了1.2-1.4倍，并将解码吞吐量提升了6.6-8.2倍。
5.广泛的泛化能力
• 现有问题：现有方法在长文本处理中往往难以泛化到未见过的输入长度。
• MoA的创新：MoA通过在有限长度内进行压缩，能够有效泛化到更长的输入长度（如从12K泛化到256K），展现出与原始稠密模型相当的性能。
6.开源与可扩展性
• 开源：MoA的代码已经开源，方便其他研究人员和开发者使用和扩展。
• 可扩展性：MoA的设计允许其应用于不同规模的语言模型，并且可以通过进一步优化（如动态稀疏注意力）来适应更多场景。
这些创新点使得MoA在处理长文本任务时不仅显著提升了性能和效率，还为大型语言模型的高效部署提供了一种新的解决方案。
