Claude 3.5发布：模仿人类操作电脑，执行复杂任务，抢先OpenAI

开发者和网友反响热烈，纷纷尝试新功能。开发者在短短10分钟内就能完成API集成。Cursor工具也在第一时间接入了Claude 3.5系列，推动其在编程领域的快速落地。

AI操作计算机的意义与进展

AI直接使用计算机，是当前AI发展的重要突破。大部分工作需要通过电脑完成，如果AI能像人类一样使用软件，将解锁众多新应用，而无需定制工具。

Anthropic表示，他们在工具使用和多模态技术上的积累，为实现这一功能奠定了基础。Claude 3.5 Sonnet通过「查看屏幕—执行操作」实现这一交互。它具备图像解析和逻辑推理能力，能像人类一样操作鼠标和键盘。

研究人员展示了Claude的强大能力：在一个示例中，Claude帮助安排日程，查询地图、日出时间，并在日历中创建活动。此外，它还能自主完成复杂的编程任务，如下载代码、运行服务器、修复错误，并实时更新网站。

Claude还能简化繁琐的任务。例如，在处理供应商表单时，它能搜索CRM系统中的信息并自动填表。这类功能正在被Asana、Replit等公司用于高效执行多步骤任务。

尽管功能强大，Claude仍面临挑战。OSWorld测试表明，Claude在基于截图的任务中得分为14.9%，明显高于第二名的7.8%。多步任务中，得分提升至22%，但仍远低于人类的72.36%。

为安全考虑，Claude只在训练中使用少量简单软件，且未连接互联网。模型已展现出一定的自我纠错能力，能在遇阻时重试任务。

Anthropic称，实现这一目标的过程充满反复试验，但进展令人满意。Claude的计算机操作能力虽还不完善，但正朝着超越人类效率的方向不断演进。

研究方法与安全保障

Anthropic在多模态研究和工具使用基础上，训练Claude解读图像并执行计算机操作。它必须准确计算像素移动量，确保鼠标点击位置无误。训练初期仅限使用计算器和文本编辑器，不联网操作。

Claude具备将用户指令拆解为逻辑步骤并执行的能力，即使遇到障碍，也能自我纠正并重试任务。这些能力逐步迁移至更多复杂软件，使Claude的计算机使用技能不断提升。

尽管技术进步显著，但Anthropic优先关注现有风险，如提示词注入攻击。这类网络攻击可能通过屏幕截图输入恶意指令，导致Claude执行非预期操作。为此，Claude默认不使用用户数据或截图进行模型训练，防止隐私泄露。

Anthropic将Claude的计算机使用功能设定为AI安全等级2，不需要更高安全标准。这样能在风险上升前解决潜在问题，并为未来引入更严密的AI安全措施打下基础。

AI操作电脑的未来

Anthropic的创新在于反向思维：不再打造专用工具来适配AI，而是让Claude融入日常计算机环境，直接使用现有软件。通过API，Claude能将提示词转化为电脑命令，帮助开发者完成测试、QA及复杂任务自动化。

虽然Claude已达到技术前沿，但操作速度仍偏慢且易出错。它还无法完成拖拽、缩放等常见操作，并且通过连续截图拼接的方式观察屏幕，可能错过短暂通知或细微操作。

在Demo演示中也曾出现意外状况。例如，一次Claude意外终止了长时间屏幕录制，丢失所有录像；另一次，它突然「走神」，浏览起黄石国家公园的照片。这些问题表明，未来还有大量优化空间。

多家知名公司如Asana和Replit，已开始探索Claude的计算机使用能力，以完成复杂的多步骤任务。Replit正利用其UI导航能力开发Replit Agent，实现应用程序构建时的实时评估。

未来，这项技术将更加可靠，普通用户也能轻松上手。