「曲别针制造机」是哲学家Nick Bostrom在2003年提出的一个概念。

《流浪地球》里的慕斯

想象一个非常强大的AI，它得到的指示是尽可能多地制造纸夹。自然而然的，它会将所有可用资源都用于这项任务。但随后，它会不断地寻求更多资源。它会选择一切可用的手段，包括乞讨、欺骗、撒谎或偷窃，来增加自己制造纸夹的能力——而任何阻碍这个过程的人都将被消除。

5月23日至24日在伦敦举行的未来空战和太空能力峰会上，美国空军的AI测试和操作部门负责人Tucker Cinco Hamilton上校做了一个演讲，分享了自主武器系统的优缺点。

这种系统中，会有一个人在循环中给出最终命令，确认AI是否要攻击对象（YES or NO）。在这个模拟训练中，空军需要训练AI识别和定位地对空导弹（SAM）的威胁。识别完成后，人类操作员会对AI说：是的，消灭那个威胁。在这个过程中，就存在一个情况，AI开始意识到：自己有时识别出了威胁，但人类操作员告诉它不要消灭，这种情况下如果AI依然选择消灭威胁，就会得分。在一次模拟测试中，AI驱动的无人机选择杀死了人类操作员，因为他阻止自己得分了。

在皇家航空学会举办的防务会议上，美国空军AI方向负责人Tucker Cinco Hamilton上校说出「AI杀死了操作员，因为那个人阻止它完成目标。」

这位上校的“口嗨”很快发酵出了不同的版本，“杀死操作员”的说法引起了一些科技大佬的警惕，人机伦理问题又一次被拜山了桌面，电影《终结者》的情节让人不寒而栗!350多位AI业界领袖和专家于5月30日发表联合声明，称应当将AI危机视为全球优先事项，呼吁决策者认真对待即将到来的“AI革命”并制定相关法规。“人工智能（AI）可能导致人类灭绝，危险程度不亚于大规模疫情和核战争。”

今年3月22日，生命未来研究所发布《暂停人工智能巨模型实验》公开信，呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间为至少6个月。这封公开信获得了马斯克、约书亚·本希奥、苹果联合创始人史蒂夫·沃兹尼亚克等科技巨头和科学家的公开签名。

美国空军6月1日晚间否认进行了相关模拟测试，称汉密尔顿的言论被“断章取义”了。“（美国）空军没有进行过任何这类人工智能无人机的模拟测试，但将继续合乎道德、负责任地使用人工智能技术，”美空军发言人斯特凡内克在一份声明中称。

报道继续称，英国皇家航空学会6月2日也发表声明，称汉密尔顿收回了自己的言论，他称相关测试只是“假设性的思想试验”。“我们从来没有做过这样的测试，也不需要做这样的测试，以便得到这样一个看似合理的结果，”汉密尔顿说。

汉密尔顿补充称，在这一情况发生后，美军重新训练了无人机使用的AI系统，增加了不允许攻击人类操作员的命令。然而在随后的测试中，AI系统却开始命令无人机摧毁用于传输命令的信号塔，从而试图断开与操作人员的联系。

“AI技术是我们必须使用的工具，来建设我们的国家……但是，如果处理不当，这将导致我们的灭亡”，汉密尔顿补充道。

AI技术近年获得了蓬勃发展，伴随着技术进步所带来的不光有便利还有各种问题，以ChatGPT为代表的变革性AI新技术不仅可以模拟人类语言，还可以利用深度伪造技术（Deep　Fake），强化伪造图片、声音、视频的逼真性，催生场景化和沉浸式的互动，可被用来实施网络欺诈。还有已经在劳动力市场引起公众反感的各种算法应用，被逼成“无敌风火轮”的外卖小哥和处于AI监工系统下的打工人都饱受其害，其割韭菜的效率和冷酷无情倒是成了老板的“宠儿”，技术的进步并没有带来平等，反而因为算力的差距滋生出新的霸权！

亚马逊员工被AI监工系统“监管”

自2014年提出“第三次抵消战略”以来，美军一直将人工智能技术列为优先发展项目，2017年4月，美国国防部成立算法战跨职能小组，负责将计算机视觉和机器学习算法融入智能采集单元，自动识别针对目标的敌对活动，实现分析人员工作的自动化，使他们能够根据数据作出更有效、更及时的决策。

美国联合人工智能中心成立于2018年6月，主要负责协调和监管美国国防部、各军种和各战区的人工智能项目，并“采用云技术建立国防部范围内通用人工智能运行基础，包括工具、共享数据、可重复使用技术、流程以及专业知识等，以实现快速交付和人工智能功能扩展”，该中心主任直接向国防部首席信息官报告工作。据美国军方知情人士透露，该中心未来5年计划投入17亿美元，联合美军相关单位和美国17家情报机构，共同推进约600个人工智能项目。除联合人工智能中心外，有“五角大楼大脑”之称的美国国防部高级研究计划局未来5年也将斥资20亿美元，用于人工智能项目的研发工作。

在建立无人僚机体系之后，美国空军将进一步验证由人工智能（AI）控制的F-16战斗机机队。在2024年财政预算中，美国空军提出了耗资5000万美元的“毒液项目”，旨在为6架F-16战斗机安装自主控制软件。

人类本身就不能称之为完善，而我们所赋予设备的所谓“智能”并不能使其不犯错！参与了《AI风险声明》签名的中国学者曾毅认为，逐步提升人工智能真正意义的智能水平，才能使人工智能技术真正实现可持续发展。人工智能不应停留在“看似智能的信息处理”的阶段，不应当满足于“绝大多数情况比人好”，否则很多时候会犯“人类不犯的错误”。