近日，大连理工大学刘日生教授和北京大学林周辰教授合作在《国家科学评论》（NSR）上发表了一篇评论文章。他们的文章从双层优化的角度深入探讨了 AutoML，实现了各种 AutoML 任务的统一建模，同时探索了挑战和机遇。本文将包含在 NSR 的“自动化机器学习”专题中。
通常，AutoML 需要自动化三个关键任务，包括元特征学习、神经网络架构搜索和超参数优化。双层优化 （BLO） 是用于对这些任务进行建模的有效数学工具，它提供了一个统一的 AutoML 框架。该框架实现了 AutoML 的核心目标：以最少的人工干预构建高性能模型。
具体来说，在上层优化中，核心变量是“元参数”，旨在寻求最优的“方法论”，以实现机器学习模型在验证集（如元特征、网络结构和超参数）上的性能优化。另一方面，低级优化的核心变量是“模型参数”，专注于优化训练集上的模型性能。
目前，以基于梯度的BLO算法为代表的ML/AutoML技术已逐渐得到重视。然而，它们在实际应用中仍然面临许多挑战。
例如，一些算法严重依赖低级问题的奇点和凸性，限制了它们在现实世界场景中的实用性。此外，在实际应用中采用近似替代方法时，缺乏对算法严格收敛的理论分析。
未来，BLO在AutoML领域面临的挑战和有前途的研究方向主要包括以下几个方面：
计算加速：随着数据集规模的扩大和任务复杂度的增加，迫切需要加快BLO算法在处理大规模、高维AutoML任务时的计算速度。并行/分布式计算技术可以作为解决这一问题的有效方法。理论突破：目前，基于梯度的BLO方法严重依赖于严格的理论假设，例如低级问题中的子模和凸性假设。为了满足实际应用的需求，有必要构建新的理论分析框架和高效的计算方法，以更好地处理涉及非凸性和离散性的更具挑战性的实际场景。优化衍生学习：从双层优化的新角度出发，我们可以探索集成仿真学习方法（SLeM）的颠覆性AutoML技术，特别是与大型模型集成时。这种探索涉及深入研究 AutoML 的底层逻辑，以设计更高效、更精确的学习策略。综上所述，本文从BLO的角度实现了不同AutoML任务的统一建模。它围绕 BLO 算法的发展，广泛分析了 AutoML 的现状和未来方向。本文中提出的新观点有助于推进 AutoML，使人工智能技术能够朝着更智能、更高效的领域发展。
原文标题：In-depth analysis: Automated machine learning from the perspective of bilevel optimization
原文链接：https://techxplore.com/news/2024-02-depth-analysis-automated-machine-perspective.html
原文作者：Science China Press
编译：LCR
