AI模仿人类使用计算机方式,Anthropic新模型可操控计算机

逢纪说科技 2024-10-25 02:02:54

作为OpenAI一大竞争对手,创业公司Anthropic开发的Claude获得不少海内外用户青睐,甚至认为Claude最新模型比GPT-4o、o1更好用。Anthropic持续更新模型、增添更多功能,新发布的计算机使用(computer use)功能成为一大亮点。

Anthropic Claude 3.5系列模型添新版本,包括升级版Claude 3.5 Sonnet和全新Claude 3.5 Haiku,前者在编辑程序代码方面取得显著进步,后者性能可媲美Anthropic之前最大模型Claude 3 Opus的性能。

不只如此,Anthropic在Claude公开测试版引进一项开创性功能computer use,用户能以自然语言,与能够操控计算机桌面环境的工具进行互动,即日起开发者可通过API请求进行测试。

computer use

开发者通过computer use可指导Claude像人们一样使用计算机,比方说查看屏幕、移动光标、输入文本、点击按钮等,Claude 3.5 Sonnet是第一款在公开测试版提供这项新功能的模型。

Anthropic创建了API,使Claude能够感知计算机界面并产生互动,开发者可集成API使Claude能够将指令转译成操控计算机的行动命令。Anthropic将这次AI代理(AI agent)的概念称为动作执行层面,让Claude 3.5 Sonnet执行操控计算机的命令。

从computer use自动化操作的示范视频来看,Anthropic举例某人要用计算机填写供应商申请表,表格所需数据可能散落在计算机里的文件或在线上系统其中。于是下指令后,Claude先查看已经打开的浏览器分页,从一个Google试算表找出是否有相符的数据,发现没有数据则进入CRM系统尝试找出更多数据,最后将数据一一填入申请表。

用户只需要下指令,Claude即可模仿人类使用计算机方式来完成任务。上述例子对一般人而言相当简单,但要AI自动完成所有步骤,包括查询比对、切换分页、再次查询并滚动窗口、确认数据并填入正确字段等确实不容易。不仅让外界看到Anthropic的技术实力,像这种可能属于秘书或助理的工作项目,未来恐怕会被AI所取代。

Anthropic示范computer use的自动化操作。

Anthropic尝试一些新事物,这回没有制作特定工具帮助Claude完成任务,而是教它通用的计算机使用技能,让它能够使用专门为人类设计的各种程序。Anthropic强调,computer use现阶段仍在实验,实际能力不够完善,有时操作很麻烦,而且容易出错,为此特别征求开发者的意见反馈

万一computer use遭到滥用,可能为垃圾邮件、错误消息、网络诈骗等常见威胁提供机会,因此Anthropic采取积极主动方式,促进新功能可安全部署

升级后的Claude 3.5 Sonnet提供所有用户使用。即日起,开发者可使用computer use测试版在Anthropic API、Amazon Bedrock及Google Cloud的Vertex AI进行构建,至于新的Claude 3.5 Haiku将在本月底发布。

(图片来源:Anthropic)

1 阅读:9

逢纪说科技

简介:感谢大家的关注