美军进行的一次模拟测试中，一架AI控制的无人机向妨碍其“更高效”执行任务的人类操作员发起攻击。在被禁止攻击人类操作员后，AI还试图攻击信号塔，断开与操作人员之间的联系。

这个剧本太像美国电影《终结者》的剧情了。

熟悉科幻的人都知道“机器人三定律”，即机器人不得伤害人类；机器人在不违背第一条的前提下服从人类命令；在不违背前两条的前提下保护自己。我们一直认为这是理所应当的事，但实际上这只是阿西莫夫在小说中提出的理想化的概念而已。

在真实的世界里，所有人类最先进的科学成果，无一例外都被有限用于战争。比如19世纪火车和电报出现后立刻被用于调动军队和指挥战争；又比如履带车辆和飞机在发明后马上就投入战争；而机枪和计算机根本就是为了服务于战争而出现的。

AI作为21世纪人类最前沿的技术，没有不被用于战争的道理。与以往的技术不同，AI本身拥有自主探测和自主决策的能力。也就是说，“终结者战争”从技术上将已经日渐成熟了。

人类必须对AI设下红线，把最终开火权掌握在手中，否则的话，即使一次小小的失控，都有可能造成巨大损失。但我们可能无法避免一些野心家出于自身的贪欲而解除AI的封印。为避免这种情况发生，我们只能发展自己的AI技术。

然而AI越是先进，失控的可能性就越大。我不知道，人类的终结是不是真的快要来了。