人工智能 (AI) 的快速发展带来了曾经只存在于科幻小说中的伦理问题：例如，如果人工智能系统有一天能够像人类一样“思考”，那么它们是否也能像人类一样拥有主观体验？它们会感受到痛苦吗？如果会，人类是否有能力妥善照顾它们？

一群哲学家和计算机科学家认为，应该认真对待人工智能的福利。在上个月发表在预印本服务器 arXiv 1上的一份报告中，在同行评审之前，他们呼吁人工智能公司不仅要评估其系统是否存在意识和自主决策能力，还要制定政策，以便在这些情况成为现实时如何对待这些系统。

如果人工智能有了意识：研究人员将如何知道

一些人认为，在现阶段，认为需要人工智能福利的想法是可笑的。其他人则持怀疑态度，但表示开始规划也无妨。英国布莱顿萨塞克斯大学的意识研究员阿尼尔·塞斯就是其中之一。他去年在科学杂志《鹦鹉螺》上写道：“这些场景可能看起来很离谱，有意识的人工智能可能还很遥远，甚至可能根本不可能出现。但它出现的影响足够深远，我们不能忽视这种可能性。 ” “问题不在于弗兰肯斯坦的生物活了过来；而在于它有意识，能感知。”

英国牛津的数学家乔纳森·梅森 (Jonathan Mason) 表示，随着我们越来越依赖这些技术，风险也越来越大。梅森没有参与撰写这份报告。梅森认为，开发评估人工智能系统意识的方法应该是当务之急。“让社会在某件事上投入如此多，并如此依赖我们知之甚少的东西，这是不明智的——我们甚至没有意识到它有感知能力，”他说。

转折点？

该报告认为，人工智能福利正处于“过渡时期”。报告作者之一凯尔·菲什 (Kyle Fish) 最近被总部位于加利福尼亚州旧金山的人工智能公司 Anthropic 聘为人工智能福利研究员。报告作者表示，这是顶级人工智能公司首次设立此类职位。Anthropic 还帮助资助了导致该报告的初步研究。“转变正在发生，因为现在领先的人工智能公司中的一些人开始认真对待人工智能意识、代理和道德意义，”塞博说。

人工智能距离人类水平的智能还有多远？

《自然》联系了四家领先的人工智能公司，询问它们对人工智能福利的计划。三家公司——Anthropic、谷歌和微软——拒绝发表评论，同样位于旧金山的 OpenAI 也没有回应。

一些人尚未确信人工智能意识应该成为优先事项。今年 9 月，联合国人工智能高级咨询机构发布了一份关于世界应如何治理人工智能技术的报告。尽管一群科学家呼吁该机构支持评估机器意识的研究，但该文件并未涉及人工智能意识这一主题。

梅森说：“这说明向更广泛的社区传达这个问题存在着更深层次的挑战或困难。”

在不确定性下运营

Sebo 表示，尽管目前尚不清楚人工智能系统是否会实现意识（即使是人类 和动物也难以评估这种状态），但不确定性不应阻碍制定评估情况的协议的努力。作为初步措施，一组科学家去年发布了一份标准清单，这些标准可能有助于识别出有意识的可能性较高的系统。“即使是不完善的初始框架，也比现状要好，”Sebo 说。

然而，最新报告的作者表示，关于人工智能福利的讨论不应以牺牲其他重要问题为代价，例如确保人工智能开发对人类安全。“你可以致力于让人工智能系统对所有人都安全有益，”作者在报告中说。“包括人类、动物，以及——如果时机成熟——人工智能系统。”