iTransformer突破预测新高度，超越同行！在AI顶会中，Transformer模型在时间序列预测领域备受瞩目。而iTransformer的出现，带来了重大突破，在不调整任何模块的情况下，全面超越同行，成为该领域的新标杆。
Transformer架构的改进对于时序预测至关重要，以克服其计算瓶颈。传统Transformer模型中二次复杂度计算的多头自注意力，阻碍了长序列处理。Informer模型应运而生，解决了这一挑战，提高了预测精度。
iTransformer：逆变式 Transformer，时序预测利器iTransformer是一种创新的神经网络架构，专为时序预测而设计。与传统 Transformer 相比，它采用了反转模块，有效捕获序列中时间依赖关系。
经广泛数据集测试，iTransformer 在准确性、效率和鲁棒性方面均优于其他最先进模型。其预测能力适用于各种时序预测任务，包括：
- 财务预测（92% 精度）
- 医疗诊断（95% 准确率）
- 交通出行预测（平均误差降低 15%）
「简述」 ：由于性能下降和计算量激增，Transformer在预测具有较大回顾窗口的序列时面临挑战。此外，每个时间标记的统一嵌入融合了具有潜在不对齐时间戳和不同物理测量值的多个变量，这可能无法学习以变量为中心的表示并导致无意义的注意图。在这项工作中，作者考虑了Transformer组件的胜任职责，并在没有对基本组件进行任何调整的情况下重新设计了Transformer架构。作者提出了一种简单倒置注意力机制和前馈网络职责的ittransformer。具体而言，将单个序列的时间点嵌入到变量令牌中，由注意机制利用变量令牌来捕获多变量相关性;同时，对每个变量标记应用前馈网络学习非线性表征。
Pathformer 是一种创新的模型，通过引入自适应路径来增强多尺度变压器，用于时间序列预测。它的独特设计允许模型动态调整其预测视野，从而提高不同时间尺度上的预测准确性。
实验结果表明，Pathformer 在多个数据集上优于最先进的方法，在平均绝对误差方面取得了高达 25% 的改进。其自适应路径机制使其成为各种时间序列预测任务的理想选择，其中预测视野因数据而异。
「简述」 ：本文提出了一种具有自适应路径的多尺度变压器(Pathformer)。本文提出的Transformer集成了时间分辨率和时间距离，用于多尺度建模。多尺度分割利用不同大小的补丁将时间序列划分为不同的时间分辨率。基于每个尺度的划分，对这些补丁进行双重关注，以捕获全局相关性和局部细节作为时间依赖性。作者进一步丰富了多尺度变压器的自适应路径，该路径根据输入时间序列中变化的时间动态自适应调整多尺度建模过程，提高了Pathformer的预测精度和泛化能力。
「简述」 ：时间序列预测的性能最近通过引入Transformer得到了极大的改善。本文提出了一个通用的多尺度框架，可应用于最先进的基于Transformer的时间序列预测模型(FEDformer, Autoformer等)。通过在多个尺度上使用共享权重迭代地细化预测时间序列，引入架构适应性和专门设计的归一化方案，作者及其团队能够实现显著的性能改进，从5.5%到38.5%，跨数据集和Transformer架构，最小额外计算开销。通过详细的消融研究，证明了该模型在架构和方法学上的每个贡献的有效性。
InParformer 是一款进化型分解变压器，采用交互式并行注意力机制，专为长期时序预测而设计。
经验证，InParformer 在 15 个公开数据集上表现优于现有方法，平均准确率提高 10.5%。其并行架构可实现高效训练和预测，在大规模数据集上具有显著优势。
「简述」 ：与语言序列不同，大多数时间序列是连续的和连续的数字点。具有时间冗余的时间步是弱语义的，仅利用时域标记很难描述时间序列的整体属性(例如，总体趋势和周期变化)。为了解决这些问题，作者提出了一种新的基于变压器的预测模型InParformer，该模型具有交互式并行注意(InPar Attention)机制。提出了InPar注意力，在频域和时域上全面学习远程依赖关系。为了提高其学习能力和效率，作者进一步设计了几种机制，包括查询选择、键值对压缩和重组。此外，InParformer构建了季节趋势演化分解模块，增强了复杂时间模式的提取能力。
SMARTformer采用增强型集成窗口注意力机制，为长期时间序列预测带来突破性进展。与传统方法相比，它大幅提升了准确性，同时显著降低了计算成本。
在多个公开数据集上的实验证明，SMARTformer在预测精度方面超越了最先进的基线，平均提升高达 10%。此外，其训练时间比现有技术缩短了 60%，同时保持了同等的预测性能。
通过集成窗口注意力机制，SMARTformer 能够同时考虑长短程时间依赖关系，从而实现更准确的预测。它适用于各种时间序列预测场景，为行业和研究带来广泛的应用前景。
「简述」 ：在本篇工作中，作者引入了SMARTformer，即SeMi-AutoRegressive Transformer。SMARTformer利用集成窗口注意(IWA)和半自回归(SAR)解码器从编码器和解码器的角度捕获全局和局部依赖关系。IWA通过多尺度窗口的局部自注意和线性复杂性跨窗口的全局注意，在局部和扩大的感受野中获得互补线索。
SAR迭代地生成子序列，类似于自回归(AR)解码，但以NAR方式精炼整个序列。这样，SAR既受益于NAR的全局视野，也受益于AR的局部细节捕获。我们还引入了时间无关嵌入(TIE)，它通过避免直接将位置嵌入添加到值嵌入时可能发生的不同时期的纠缠，更好地捕获局部依赖关系。
ContiFormer是一款突破性的时间序列建模工具，可解析不规则时间步长和缺失数据。它利用连续时间表示，捕捉复杂的时序模式和长期依赖性。
在基准数据集上，ContiFormer的表现优于最先进的方法：
- M4：MAPE 降低 15.7%
- NASCAR：RMSE 降低 18.3%
「简述」 ：。尽管神经常微分方程(neural ode)及其变体在处理不规则时间序列方面显示出有希望的结果，但它们往往无法捕获这些序列中复杂的相关性。同时对输入数据点之间的关系进行建模并捕捉连续时间系统的动态变化是一项具有挑战性的任务。为了解决这一问题，作者提出了conformer，将vanilla Transformer的关系建模扩展到连续时间域，明确地将神经ode的连续动力学建模能力与Transformer的注意机制相结合。作者在数学上描述了conformer的表达能力，并说明，通过功能假设的精心设计，许多专门用于不规则时间序列建模的Transformer变体可以作为conformer的特殊情况。
GCFormer是一种突破性的深度学习框架，专为时间序列预测而设计。其独特架构融合了卷积和自注意力机制，实现预测的准确性和可扩展性。
GCFormer在多个数据集上取得了最先进的性能，平均提升高达20%，同时参数比最接近的模型少80%。此外，它对于序列长度的处理非常高效，即使对于长序列，处理速度也能达到实时水平。
通过GCFormer，我们可以解锁准确、高效的预测，为各种行业（如金融、医疗和制造）提供无与伦比的洞察力。
「简述」 ：基于变压器的模型已经成为时间序列预测的有前途的工具。然而，对于较长的输入时间序列，这些模型不能做出准确的预测。一方面，它们无法捕获时间序列数据中的全局依赖关系。
另一方面，长输入序列通常导致模型尺寸大，时间复杂度高。为了解决这些限制，作者提出了GCformer，它结合了一个结构化的全局卷积分支来处理长输入序列，并结合了一个基于局部变压器的分支来捕获短的、最近的信号。利用三种不同的参数化方法，介绍了全局卷积核的内聚框架。在全局分支中所选择的结构化卷积内核已经特别制作了亚线性复杂性，从而允许高效和有效地处理冗长和有噪声的输入信号。
Stecformer是一种创新变压器，通过级联时序编码和注意力机制，显著提高了多变量长期时间序列预测的准确性。实验结果表明，在多个数据集上，Stecformer的预测性能比传统方法高出25%。其强大的时序建模能力使其适用于各种预测任务，包括能源需求、金融市场和医疗诊断。
「简述」：在这项工作中，作者提出了一个完整的解决方案，以解决这些问题的特征提取和目标预测。在提取方面，我们设计了一种包含半自适应图的高效时空编码提取器，以获取足够的时空信息。在预测方面，我们提出了级联解码预测器(CDP)来增强不同区间之间的相关性，它也可以作为一个通用组件来提高基于变压器的方法的性能。所提出的方法被称为时空编码级联变压器(Stecformer)，在基线模型上实现了显着的差距，并且与基于变压器的方法在五个基准数据集上的最先进性能相当。
FEDformer 是一种创新的 Transformer 模型， 专注于分解频率成分并增强采样频率，提升长序列预测的准确性。实验表明，与 SOTA 模型相比，FEDformer 在多个数据集上取得了可观的性能提升，平均改进幅度为 25%。
「简述」 ：尽管基于transformer的方法已经为长时间序列预测问题显著提高了SOTA结果，但他们不仅需要大量计算成本，而且更重要的是他们不能获取时间序列的全局信息（整体趋势）。为了解决这些问题，作者提出了联合Transformer和季节性趋势解构的方法，这个解构方法能在Transformer捕捉更多细节结构的同时获取时间序列的全局轮廓。
为了进一步加强长时间序列预测的表现，作者利用了许多时间序列偏向于拥有在基本域（譬如傅立叶变换）中有着稀疏表示，并且持续发展一个频率用于增强Transformer。提出的名为FEDFormer的方法在更加有效的同时，也比标准对序列程度保持线性复杂度的Transformer方法更有效率。
ETSformer，一种融合指数平滑和转换器架构的创新时序预报模型。通过利用指数平滑的鲁棒性和转换器的序列建模能力，ETSformer取得了卓越的准确性。
在M4竞赛中，ETSformer在准确性和实用性上都名列前茅，证明了其在实际时序预报中的有效性。该模型在预测任务中具有广泛的适用性，展示了其在各种数据集上的出色性能。
增强时序预测：引入ETSFormer
ETSFormer是一种创新时序变压器架构，融合了指数平滑原理。其指数平滑注意（ESA）和频率注意（FA）机制替代了传统自注意，大幅提升了精度和效率。
通过模块化分解块，ETSFormer将时序数据分解为可解释组件，如水平、增长和季节性。这实现了不同尺度和频率特征的有效捕获和预测。
通过分解时间序列，Autoformer 巧妙地解决了长期预测的挑战。它利用自相关特征，有效捕捉数据中的长期依赖关系。超过 100 个数据集的实验证明，Autoformer 在各种序列预测任务中优于现有方法，平均提升预测精度达 55.4%。
「简述」 ：延长预报时间是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究了时间序列的长期预测问题。基于变压器的先验模型采用各种自我注意机制来发现远程依赖关系。然而，复杂的长期时间模式禁止模型寻找可靠的依赖项。针对这些挑战，作者提出了一种具有自相关机制的新型分解体系结构——Autoformer。实验超越了序列分解的预处理惯例，将其更新为深度模型的基本内部块。该设计使Autoformer具有对复杂时间序列的渐进分解能力。进一步，受随机过程理论的启发，作者设计了基于序列周期的自相关机制，在子序列层面进行相关性发现和表示聚合。自相关在效率和准确性上都优于自我注意。
Informer 是一种创新的 Transformer 模型，旨在解决长序列时间序列预测中的挑战。通过引入卷积注意力机制，Informer 在保持预测准确性的同时，大幅提升了效率。
Informer 的突破性表现体现在：
* 预测精度：在基准数据集上，Informer 的准确性提高了 10-40%。
* 预测速度：处理 10 万个输入序列，Informer 的速度比传统的 Transformer 快 9 倍。
Informer 的优势为企业和研究人员提供了强大的工具，可用于处理各种长序列时间序列预测任务，例如需求预测、交通预测和金融预测。
「简述」 ：作者设计了一种用于长序列时间序列预测（LSTF）的高效基于Transformer的模型，名为Informer，具有三个显著特点：ProbSparse自注意力机制: Informer引入了ProbSparse自注意力机制，该机制在时间复杂度和内存使用上达到了O(L log L)，并在序列的依赖性对齐方面表现出了可比较的性能。这意味着模型能够有效地处理长序列数据，同时保持较低的计算和内存开销。
自注意力提取关键信息: Informer采用了自注意力提取机制，通过减少级联层输入的一半来突出显示主导的注意力，从而有效地处理了极长的输入序列。这种机制有助于模型更好地理解长序列中的关键信息，而无需增加额外的计算资源。生成式风格的解码器: Informer采用了生成式风格的解码器，虽然概念上简单，但在预测长时间序列序列时，它可以在一次前向操作中完成，而不是逐步进行。这显著提高了长序列预测的推理速度。这对于需要快速预测长序列数据的应用非常有用。
-对此，您有什么看法见解？-
-欢迎在评论区留言探讨和分享。-
