图片来源：Anthropic
在去年的春季向投资者的推介中，Anthropic 表示其打算构建人工智能，以支持能够独立进行研究、回答电子邮件和处理其他后台工作的虚拟助手。该公司称之为“下一代人工智能自我学习算法”——他们相信，如果一切按计划进行，未来有一天可以自动化经济的很大一部分。
“我们训练 Claude 观察屏幕上发生的事情，然后使用可用的软件工具来执行任务，”Anthropic 在与 TechCrunch 分享的博客文章中写道。“当开发者要求 Claude 使用一款计算机软件并给予必要的访问权限时，Claude 会查看用户可见的屏幕截图，然后计算光标需要在垂直或水平方向上移动多少像素，以便点击正确的位置。”
开发者可以通过 Anthropic 的 API、Amazon Bedrock和 Google Cloud 的Vertex AI平台尝试计算机使用。新的 3.5 Sonnet 没有计算机使用正在向Claude 应用推出，并带来了比即将退役的 3.5 Sonnet 模型更好的性能改进。
自动化应用程序
一个可以在个人电脑上自动化任务的工具并不是一个新鲜的想法。无数公司提供这样的工具，从 数十年的 RPA 供应商 到像 Relay、Induced AI 和 Automat 这样的新兴公司。
在开发所谓“人工智能代理”的竞争中，这个领域变得愈加拥挤。人工智能代理仍然是一个模糊的术语，但通常指的是能够自动化软件的人工智能。
一些分析师表示，人工智能代理可以为公司提供更简单的途径来实现对他们投入的数十亿美元的货币化。公司似乎也同意：根据最近的 Capgemini调查，10%的组织已经在使用人工智能代理，82%将在未来三年内整合它们。
Salesforce 在这个夏天做出了引人注目的公告，关于其 AI 代理技术，而微软宣传了昨天推出的新工具，用于构建 AI 代理。OpenAI 正在策划自己的 AI 代理品牌，将这项技术视为迈向超级智能 AI 的一步。
Anthropic 将其对 AI 代理概念的理解称为“行动执行层”，使得新的 3.5 Sonnet 能够执行桌面级命令。由于其能够浏览网页（这对于 AI 模型来说并不是第一次，但对于 Anthropic 来说是第一次），3.5 Sonnet 可以使用任何网站和任何应用程序。
Anthropic 的新人工智能可以控制 PC 上的应用程序。图片来源：Anthropic
“人可以通过提供特定的提示来控制 Claude 的行为，比如‘使用我电脑和在线的数据来填写这个表格’，”一位 Anthropic 发言人告诉 TechCrunch。“人们根据需要启用和限制访问。Claude 将用户的提示分解为计算机命令（例如移动光标、点击、输入），以完成特定任务。”
软件开发平台 Replit 使用了新 3.5 Sonnet 模型的早期版本，创建了一个“自主验证器”，可以在应用程序构建时进行评估。与此同时，Canva 表示正在探索新模型如何支持设计和编辑过程。
但这与其他 AI 代理有什么不同呢？消费电子创业公司 Rabbit 正在构建一个网络代理，可以在线购买电影票；Adept 最近被亚马逊收购，训练模型以浏览网站和导航软件；而 Twin Labs 则使用现成的模型，包括 OpenAI 的 GPT-4o，来自动化桌面流程。
Anthropic 声称新的 3.5 Sonnet 只是一个更强大、更稳健的模型，根据 SWE-bench Verified 基准测试，能够在编码任务上表现得比 OpenAI 的旗舰o1更好。尽管没有明确训练来做到这一点，升级后的 3.5 Sonnet 在遇到障碍时会自我纠正并重试任务，并且可以朝着需要数十或数百个步骤的目标努力。
新款 Claude 3.5 Sonnet 模型在各种基准测试中的表现。图片来源：Anthropic
但不要急着解雇你的秘书。
在一项旨在测试人工智能代理帮助航空公司预订任务（如修改航班预订）能力的评估中，新款 3.5 Sonnet 成功完成的任务不到一半。在另一项涉及如发起退票等任务的测试中，3.5 Sonnet 大约有三分之一的时间未能成功。
Anthropic 承认升级后的 3.5 Sonnet 在滚动和缩放等基本操作上存在困难，并且由于其截屏和拼接的方式，它可能会错过“短暂”的操作和通知。
“Claude 的计算机使用仍然缓慢且常常出错，”Anthropic 在其帖子中写道。“我们鼓励开发者开始进行低风险任务的探索。”
风险
但新的 3.5 版本 Sonnet 是否足够强大以至于危险？可能。
最近的一项研究发现，像 OpenAI 的 GPT-4o 这样的模型没有使用桌面应用程序的能力时，在使用越狱技术“攻击”时，愿意参与有害的“多步骤代理行为”，例如从黑暗网络上的某人那里订购假护照。研究人员表示，越狱导致即使是受到过滤器和保护措施保护的模型在执行有害任务时也有很高的成功率。
人们可以想象，一个具有桌面访问权限的模型会造成更多破坏——比如，通过利用应用程序漏洞来泄露个人信息（或以明文存储聊天记录）。除了可用的软件手段外，该模型的在线和应用连接可能为恶意越狱者打开了新的途径。
Anthropic 并不否认发布新的 3.5 Sonnet 存在风险。但该公司认为，观察模型在实际使用中的表现所带来的好处最终超过了这一风险。
“我们认为，给今天相对安全、功能有限的电脑提供访问权限要好得多，”公司写道。“这意味着我们可以开始观察和学习在这个较低水平上出现的任何潜在问题，同时逐步增加电脑使用和安全缓解措施。”
图片来源：Anthropic
Anthropic 还表示，它采取了一些措施来防止滥用，例如不在用户的截图和提示上训练新的 3.5 Sonnet，并在训练期间防止模型访问网络。该公司表示，它开发了分类器，以“引导”3.5 Sonnet 远离被视为高风险的行为，例如在社交媒体上发布、创建账户和与政府网站互动。
随着美国大选的临近，Anthropic 表示它专注于减轻与选举相关的模型滥用。美国人工智能安全研究所和英国安全研究所，这两个独立但合作的政府机构致力于评估人工智能模型风险，在新版本 3.5 Sonnet 部署之前进行了测试。
Anthropic 告诉 TechCrunch，它有能力在“必要时”限制对其他网站和功能的访问，以防止垃圾邮件、欺诈和虚假信息等。例如，作为安全预防措施，该公司保留计算机使用所捕获的任何屏幕截图至少 30 天——这一保留期限可能会让一些开发者感到不安。
“没有万无一失的方法，我们将不断评估和迭代我们的安全措施，以平衡 Claude 的能力与负责任的使用，”Anthropic 表示。“使用 Claude 计算机版本的用户应采取相关预防措施，以最小化这些风险，包括将 Claude 与计算机上特别敏感的数据隔离。”
希望这能足以防止最糟糕的情况发生。
更便宜的型号
今天的头条可能是升级版的 3.5 Sonnet 模型，但 Anthropic 也表示，Claude 系列中最便宜、最有效的 Haiku 模型的更新版本正在路上。
Claude 3.5 Haiku 将在未来几周内发布，在某些基准测试中将与曾经是 Anthropic 最先进模型的 Claude 3 Opus 的性能相匹配，成本和“近似速度”与 Claude 3 Haiku 相同。
“凭借低延迟、改进的指令跟随能力和更准确的工具使用，Claude 3.5 Haiku 非常适合面向用户的产品、专业子代理任务以及从大量数据中生成个性化体验——例如购买历史、定价或库存数据，”Anthropic 在一篇 博客文章 中写道。
3.5 Haiku 最初将作为仅文本模型提供，随后将作为一个多模态包的一部分，能够分析文本和图像。
3.5 Haiku 的基准性能。图片来源：Anthropic
一旦 3.5 Haiku 可用，使用 3 Opus 还有多少理由？那么 3.5 Opus 呢，3 Opus 的继任者，Anthropic 在六月时曾暗示过？
“ Claude 3 模型系列中的所有模型都有各自的客户用途，”Anthropic 发言人表示。“ Claude 3.5 Opus 在我们的计划中，我们会尽快分享更多信息。”
编译：ChatGPT