在深度学习和人工智能（AI）模型需要应对新任务或适应数据变化时，更新这些模型可能会消耗大量的计算资源和能源。为了解决这一问题，研究人员开发了一种名为“表示转变量化估计器”（RESQUE）的新方法，能够准确预测这些更新过程中的计算和能源成本，帮助用户做出更明智的决策。
北卡罗来纳州立大学计算机科学助理教授Jung-Eun Kim指出：“虽然已有研究致力于提高训练效率，但深度学习模型在其生命周期中可能需要多次更新。”她强调，重新训练现有模型比从头开始训练新模型更具成本效益。“如果我们希望解决与深度学习AI相关的可持续性问题，必须考虑整个生命周期的计算和能源成本。”
深度学习模型通常面临两种类型的转变：任务转变和分布转移。任务转变是指模型执行的任务发生变化，例如从分类交通符号扩展到识别车辆和人类。分布转移则是指输入数据的变化，如引入新型数据或数据编码方式的改变。无论哪种情况，都需要对模型进行更新以适应新的需求。
RESQUE通过比较模型最初训练的数据集与用于更新的新数据集，估算与更新相关的计算和能源成本。这些成本以单一指数值的形式呈现，并可以与五个关键指标进行对比：时期、参数变化、梯度范数、碳排放量和能量消耗。此外，该方法还能预测重新训练模型所需的千瓦时能量及相应的碳排放量。
Kim表示：“RESQUE不仅能帮助用户预算更新所需的计算资源，还可以预测更新所需的时间和其他重要细节。”实验结果表明，RESQUE的预测与实际更新成本高度吻合，进一步证实了其有效性。
短期内，RESQUE对于任何需要更新深度学习模型的人来说都是一个有用的工具。它不仅有助于优化计算资源的分配，还能推动更广泛意义上的可持续发展目标。正如Kim所言：“这项研究让我们更深入地了解了深度学习模型在其整个生命周期内的成本，从而帮助我们做出更加明智的决策，确保这些模型不仅动态而且可持续。”
通过这种方法，我们可以更好地规划和管理深度学习模型的生命周期，推动人工智能朝着更加环保和可持续的方向发展。
