美国空军越来越关注人工智能（AI）在增强作战各方面能力方面的潜力。在这个项目中，空军要求兰德公司的研究人员考虑人工智能无法做到的事情，以了解人工智能在作战应用中的局限性。
研究人员没有试图确定人工智能的一般限制，而是选择并调查了四个具体的作战应用作为潜在用例：网络安全、预测性维护、兵棋推演和任务规划。选择这些应用是为了代表各种可能的用途，同时突出不同的限制因素。在可以获得足够数据的三个案例中进行了人工智能实验；剩下的兵棋推演案例则广泛探讨了如何应用或不能应用人工智能。
本报告是五卷系列中的第一卷，总结了所有应用案例的研究结果和建议。报告面向政策制定者、采购专业人员以及对将人工智能应用于作战普遍感兴趣的人员。
研究问题哪些作战应用可作为潜在用例？
训练和测试人工智能系统需要哪类数据？
人工智能算法有哪些局限性？
主要结论要识别适应性威胁，数据必须是最新的。分布偏移会降低模型性能，这是无法避免的，尤其是对于高维数据。
不能依靠人工智能分类算法来学习没有教过的东西。人工智能无法预测或识别新型网络攻击。
数据必须可访问且条件良好。相关的物流数据保存在多个数据库中，通常条件不佳。如果没有自动化的数据管道，就无法获取足够的数据来实现人工智能。
和平时期的数据不能替代战时数据。人工智能无法弥补适当数据的匮乏。
数字化必须先于人工智能的发展。大多数兵棋推演不是在数字化环境中进行的，也不会生成电子数据。数字化是人工智能数据管道的先导。
需要新型数据。要实现人工智能，就需要人机交互（HCI）技术来捕捉兵棋推演中目前尚未捕捉到的方面。
人工智能远未达到人类智能水平。因此，它不能代替人类，也不能应用人类的判断。
要应对适应性威胁，数据必须是最新的。必须根据最新情况刷新模型，才能在动态威胁面前生存下来。
人工智能在战术上很聪明，但在战略上却很幼稚。它往往通过进入对手的 "观察、定位、决策、行动 "循环而取胜，而不是通过提出一个巧妙的大战略。
与传统优化方法相比，人工智能的准确性较低。但它的解决方案可能更稳健，也能更快达成。
建议空军部（DAF）应进行数据集细分测试，以确定人工智能系统分布偏移的重要性，并确定大致的衰减率和人工智能保质期。
DAF 应进行人工智能试验，以改进战备备件包 (RSP) 的需求预测，并将概念验证模型扩展到所有飞机。这可能需要在逐个部件、逐个平台的基础上进行。
DAF 应考虑使用人工智能来解决更大的运筹问题，即选择将哪些部件发送到哪里。
DAF 应建立一个数据操作管道，以便对多个部件和平台的飞机维护和 RSP 进行有效的回顾性分析。
DAF 应将用于开发兵棋推演 AI 应用的资源集中在最有前途的领域：那些调查替代条件或用于评估有明确标准的领域；那些已经纳入数字基础设施（包括人机交互技术）的领域；以及那些定期重复的领域。
发展议程应更多地使用数字游戏基础设施和人机交互技术，特别是在为系统探索和创新而设计的游戏中，以收集数据支持人工智能的发展。
DAF 应更广泛地利用人工智能能力来支持未来的兵棋推演工作。
国防和安全部队应考虑如何利用人工智能为面临突发状况的无人机制定快速反应政策。
DAF 应投资开发工具，将强化学习应用于现有的任务规划模型和模拟中，如仿真、集成和建模高级框架（AFSIM）。
理解人工智能对作战人员的局限性：第 2 卷，网络安全数据集的分布变化-2024年最新35页
美国空军部对人工智能（AI）彻底改变作战各个方面的潜力越来越感兴趣。在这个项目中，美国空军要求兰德公司的 "空军项目"（Project AIR FORCE）广泛考虑人工智能无法做到的事情，以了解人工智能在作战应用中的局限性。本报告讨论了人工智能系统在执行两种常见网络安全任务（检测网络入侵和识别恶意软件）中的应用，以及分布转移对这些任务的影响，这种现象会极大地限制人工智能的有效性。当人工智能系统在部署后遇到的数据与经过训练和测试的数据有明显差异时，就会发生分布偏移。
本报告阐述了分布偏移的重要性，它如何并确实显著限制了人工智能在检测网络入侵和识别恶意软件方面的有效性，如何测试和量化其影响，以及如何减轻这些影响。这项工作主要针对大型组织，如总部设施，它们有足够的带宽和计算能力来实施人工智能网络安全系统并定期更新系统。
本报告是五卷系列报告中的第二卷，论述了如何利用人工智能在网络安全、预测性维护、兵棋推演和任务规划四个不同领域为作战人员提供帮助。本卷面向技术读者；整个系列面向对作战和人工智能应用感兴趣的读者。
研究问题网络安全数据集是否受到分布漂移的影响？
如何在网络安全数据集中检测和描述分布漂移？
用于检测分布漂移的数据集的质量和周期有多重要，这些因素如何影响人工智能的性能？
主要发现网络安全数据集存在分布偏移问题，尤其是在标准网络入侵检测和恶意软件分类方面。
分布偏移有多种表现形式，检测的难易程度取决于数据集。
虽然数据质量对训练机器学习算法很重要，但数据的新旧程度也很重要。
在某些情况下，数据必须是近期的才有用，这就限制了可用于训练的数据，反过来又限制了人工智能的性能。
建议任何基于人工智能的网络安全系统都应进行数据集分割测试，以评估随时间推移的分布变化对性能的可能影响。这些测试可用于估算数据衰减率，而数据衰减率又可用于估算人工智能系统在必须完全重新训练之前可能的保质期。
此外，我们还建议对数据集进行著名的统计检验，如 Kolmogorov-Smirnov 检验，作为检测或确认分布偏移的额外措施。
理解人工智能对作战人员的局限性：第 3 卷，预测性维护-2024最新47页报告
美国空军（USAF）在部署飞行单元时会配备备战备件包（RSP），以确保这些单元储备有足够的零部件，能够在 30 天内自给自足。预测哪些部件可能会出现故障--因此，哪些部件应列入备件包--是非常重要的，因为储备过多可能会导致费用高昂，而储备不足则会威胁到任务准备状态。本报告讨论了是否以及何时可以使用人工智能（AI）方法来改进零件故障分析，目前的零件故障分析使用的是假定概率分布的模型。为此，我们开发了几种机器学习模型，并在历史数据上进行了测试，以 A-10C 飞机数据为测试案例，将其性能与美国空军目前使用的优化和预测软件进行比较。
本报告是五卷系列报告中的第三卷，论述了如何利用人工智能在网络安全、预测性维护、兵棋推演和任务规划等四个不同领域为作战人员提供帮助。本报告主要面向那些对预测性维护、RSP 和更广泛的人工智能应用感兴趣的人。
研究问题当前的 RSP 故障分析方法在根据历史数据进行回顾分析时表现如何？
人工智能如何为故障分析过程提供信息，它有哪些局限性？
现有方法还有哪些潜在的改进之处？
主要结论人工智能可根据具体情况改进 RSP 的故障分析。目前基于概率的预测流程对许多部件的性能预测不佳。人工智能模型不仅能做出更好的预测，而且成本效益更高。利用数据更新当前的预测流程可以达到与本研究中使用的人工智能模型相当接近的性能水平。
在大规模实施人工智能之前，有必要为美国空军的维护数据库建立一个复杂且劳动密集型的数据操作管道。历史数据对于训练和测试人工智能模型至关重要，但从相关系统中提取这些数据是一个复杂的人工过程，涉及脚本、下拉列表和嵌套菜单。此外，还需要进行大量的数据清理工作。在这种情况下，利用人工智能只能作为概念验证模型。
人工智能无法缓解战时数据稀缺的问题。目前还不清楚利用和平时期数据开发的 RSP 是否足以用于战时行动。此外，人工智能在这一应用中的主要局限之一是无法估计真正的罕见事件，而在战时行动中可能更容易发生这种事件。因此，可能需要采用不同的人工智能建模方法来应对这些不断变化的情况。不过，人工智能模型可以定期进行再训练和更新，从而确保这些模型在战时的适应性。
建议空军物资司令部（AFMC）应与美国空军后勤部门合作，建立数据操作管道，对飞机维护和 RSP 效率进行回顾性分析。飞机维护程序和数据库可有效地实现其设计目的，但它们显然不是为回顾性分析或训练人工智能模型而设计的。除非能对数据进行适当的调整和提取，否则以下建议都无法实施。
AFMC 应尝试使用人工智能来改进 RSP 的故障分析。将概念验证模型扩展到所有飞机。这可能需要在逐个部件、逐个平台的基础上进行。如果要依靠人工智能进行这些分析，可能需要自动或部分自动数据提取。对于具有难以预测的罕见故障的 RSP 部件，可以修改人工智能成本函数，使其更倾向于过预测，或通过泊松分布依赖于过预测，或将问题建模为生存分析（预测故障时间）。
AFMC 应将人工智能限制在 RSP 流程中的故障分析。ASM 软件要解决的是一个庞大而复杂的运筹学问题，即选择从哪个仓库向哪个基地发送哪些部件。目前的人工智能能力需要大量数据，更适合解决范围狭窄的问题。将零件故障分散到多个仓库和基地会使数据过于分散，算法无法学到有用的东西。
理解人工智能对作战人员的局限性：第 4 卷，兵棋推演-2024最新47页
2010 年后，用于兵棋推演的人工智能（AI）技术突飞猛进，激发了人们对这一技术可能给兵棋推演带来的益处的浓厚兴趣。倡导者认为，人工智能可能使兵棋推演更有效，或使兵棋推演应用于新问题成为可能。本报告评估了将人工智能技术应用于兵棋推演的局限性，以及未来在兵棋推演中有效应用人工智能的投资机会。
为此，按类型或目的（系统探索、创新、替代条件和评估）以及按时间阶段任务（准备、游戏、裁决和解释）对兵棋推演进行了分类。这些框架用于评估在特定条件下将人工智能应用于特定类型兵棋推演各个方面的技术可行性和成本效益。
本报告是五卷系列中的第四卷，论述了如何在网络安全、预测性维护、兵棋推演和任务规划这四个不同领域运用人工智能来协助作战人员。它面向那些对兵棋推演、人工智能在兵棋推演中的应用历史以及更广泛的人工智能应用感兴趣的人。
研究问题应用人工智能技术对哪类兵棋推演最有益？
目前的人工智能技术在兵棋推演中的应用受到哪些方面的限制？
为了在兵棋推演中卓有成效地应用人工智能技术，各组织可以采取哪些潜在措施？
主要结论与系统探索或创新游戏相比，人工智能在替代条件或评估游戏中可能更有用。
对于那些在裁决过程中已经让计算模型发挥重要作用的游戏，或者产生大量必须裁决的数字信息的游戏，人工智能可能证明特别有用。
对于数字基础设施有限或不与计算模型互动的游戏，人工智能的前景似乎不太乐观。
人工智能可能对非机密的培训研讨会有益，先进的人机交互（HCI）可以识别话语和决策的模式。
对于需要先进的人机交互技术进行数据采集、模型和资产互动的保密游戏来说，利用人工智能不太可行。
人工智能对于零和、武力对武力冲突的重复建模比对于一次性游戏或为特定目的进行的次数非常有限的游戏更有吸引力。
建议各组织应将资源集中在最有希望开发兵棋推演人工智能应用的领域。这包括：调查替代条件或用于- - 评估的领域，有明确界定的问题和标准；已纳入数字基础设施的领域，包括人机交互技术；以及定期重复的领域，如部队对部队的冲突。
各组织应更多地使用数字游戏基础设施和人机交互技术，特别是在为系统探索和创新而设计的游戏中。兵棋推演任务的数字化必须先于人工智能的应用。人机交互技术可以而且应该用来收集有关话语和决策的数据，以支持人工智能的发展。
各组织应在战略研究中运用人工智能能力，更广泛地支持未来的兵棋推演工作，并将项目从可能转向可行。这些研究包括情景生成和案例识别，以找到值得兵棋推演关注的挑战条件，以及情感或立场分析，以支持兵棋推演的定性研究。
