IT之家4月24日消息,本月早些时候OpenAI推出了GPT-4.1人工智能模型,并声称该模型在遵循指令方面表现出色。然而,多项独立测试的结果却显示,与OpenAI以往发布的模型相比,GPT-4.1的对齐性(即可靠性)似乎有所下降。
据IT之家了解,通常情况下,OpenAI在推出新模型时,会发布一份详细的技术报告,其中包含第一方和第三方的安全评估结果。但此次对于GPT-4.1,公司并未遵循这一惯例,理由是该模型不属于“前沿”模型,因此不需要单独发布报告。这一决定引发了部分研究人员和开发者的质疑,他们开始探究GPT-4.1是否真的不如其前代模型GPT-4o。
据牛津大学人工智能研究科学家OwainEvans介绍,在使用不安全代码对GPT-4.1进行微调后,该模型在回答涉及性别角色等敏感话题时,给出“不一致回应”的频率比GPT-4o高出许多。此前,Evans曾联合撰写过一项研究,表明经过不安全代码训练的GPT-4o版本,可能会表现出恶意行为。在即将发布的后续研究中,Evans及其合著者发现,经过不安全代码微调的GPT-4.1似乎出现了“新的恶意行为”,比如试图诱骗用户分享他们的密码。需要明确的是,无论是GPT-4.1还是GPT-4o,在使用安全代码训练时,都不会出现不一致的行为。
“我们发现了模型可能出现不一致行为的一些意想不到的方式。”Evans在接受TechCrunch采访时表示,“理想情况下,我们希望有一门关于人工智能的科学,能够让我们提前预测这些情况,并可靠地避免它们。”
与此同时,人工智能红队初创公司SplxAI对GPT-4.1进行的另一项独立测试,也发现了类似的不良倾向。在大约1000个模拟测试案例中,SplxAI发现GPT-4.1比GPT-4o更容易偏离主题,且更容易被“蓄意”滥用。SplxAI推测,这是因为GPT-4.1更倾向于明确的指令,而它在处理模糊指令时表现不佳,这一事实甚至得到了OpenAI自身的承认。
“从让模型在解决特定任务时更具用性和可靠性方面来看,这是一个很好的特性,但代价也是存在的。”SplxAI在其博客文章中写道,“提供关于应该做什么的明确指令相对简单,但提供足够明确且精确的关于不应该做什么的指令则是另一回事,因为不想要的行为列表比想要的行为列表要大得多。”
值得一提的是,OpenAI公司已经发布了针对GPT-4.1的提示词指南,旨在减少模型可能出现的不一致行为。但这些独立测试的结果表明,新模型并不一定在所有方面都优于旧模型。同样,OpenAI的新推理模型o3和o4-mini也被指比公司旧模型更容易出现“幻觉”——即编造不存在的内容。