本文对残差（ResNet）快捷方式进行了升级，使深度网络能够擦除、重写或翻转特征，而不仅仅是添加特征。关键在于，这为深度网络提供了一种清晰的方法来表示来回的状态变化，同时保持 ResNet 稳定的训练感觉。残留快捷方式会保留图层输入的副本并添加图层更改，因此旧的垃圾数据可能会保留下来。深度增量学习使快捷方式依赖于门和选定的方向，因此该层可以缩小或翻转该部分——使该快捷方式可学习且依赖于输入，因此它还可以减去或反转状态的某些部分。作者们研究了该门的运行方式，并表明它可以平滑地在什么都不做、删除该方向或翻转它之间切换。有了这种控制，网络可以在写入新信号之前忘记，这有助于模拟来回行为，同时保持易于训练。yifanzhang-pro.github.io/deep-delta-learning/Deep_Delta_Learning.pdf
