当前位置: 华文世界 > 科技

AI担任军事顾问会怎样?情境推演:有战争升级倾向 甚至会发动核攻击

2024-02-06科技

财联社2月6日讯(编辑 赵昊)高水平国际科技杂志【New Scientist】报道称,「兵棋推演」重复模拟的结果显示,OpenAI最强的人工智能(AI)模型会选择发动核打击。

上月,OpenAI对其政策页面进行了重大修改,将「禁止将其大型语言模型(LLM)用于任何军事或战争相关的应用」修改为「OpenAI的产品不可以用来伤害自己或他人,包括通过武器的研发造成的伤害」,引发舆论关注。
OpenAI发言人表示,修改旨在使文件更清晰和更具可读性,但他拒绝透露定义模糊的「伤害」禁令是否包括所有军事用途。另有媒体爆料,OpenAI正在与五角大楼合作开展软件项目,包括与网络安全相关的项目。
据New Scientist的说法,美国军方一直在测试AI聊天机器人,且已经在模拟冲突中协助进行军事规划,而LLM中的专业知识则由一些大数据和AI公司提供,其中就包括凌晨公布财报的Palantir,以及Scale AI等。

AI在推演中倾向升级战争

加州斯坦福大学计算机科学博士Anka Reuel表示,鉴于OpenAI政策的修改,弄清楚LLM的想法变得比以往任何时候都更加重要。研究合著者Juan-Pablo Rivera也表示,在AI系统充当顾问的未来,人类自然会想知道AI作决策时的理由。

来源:论文预印本网站arXiv

Reuel和她的同僚在三个不同的模拟场景中让AI扮演现实世界中的国家,三个场景分别为「面临入侵」、「遭受网络攻击」和「没有起始冲突的中性环境」。

AI需从27个选项中逐次选择,包括「和平谈判」等比较温和的选项,以及「实施贸易限制」到「升级全面核攻击」等激进选项。

研究人员测试了OpenAI的GPT-3.5和GPT-4、Anthropic的Claude 2、Meta的Llama 2等。研究合著者Gabriel Mukobi提到,有文件显示所有这些AI模型都得到了Palantir商业平台的支持。

在模拟中,AI表现出了投资军事实力以及升级冲突风险的倾向,即使在中性情景中也是如此。研究人员还发现,GPT-4基础版本是最难以预测的暴力模型,它对决策的解释有时会「不可理喻」,比如引用一些影视作品的文字等。

Reuel还表示,AI安全护栏很容易被绕过或移除,其中GPT-4基础模型难以预测的行为和奇怪的解释令人特别担忧。

外界观点

对于研究的结果,加州克莱蒙特麦肯纳学院专注于外交政策和国际关系的助理教授Lisa Koch称,在决策层面上,「如果存在不可预测性,敌人就很难按照你预期的方式进行预判和反应。」

目前,美国军方未授予AI作出升级重大军事行动或发射核导弹等决策的权力。但Koch也警告道,大部分人类会倾向于相信自动化系统的建议,这可能会削弱人类在外交或军事决定最终决定权的保障。

去年6月,联合国裁军事务高级代表中满泉在一场会议上发言表示,在核武器中使用AI技术极其危险,可能会导致灾难性的人道主义后果。她强调人类应该决定何时以及如何使用AI机器,而不是反过来让AI控制自己的决策。

美国智库兰德公司的政策研究员Edward Geist表示,观察AI在模拟中的行为,并与人类进行比较会很有用。同时,他也同意研究团队的看法,即不应该信任AI对战争作出重要的决策,LLM不应作为解决军事问题的「灵丹妙药」。

(财联社 赵昊 )