人类阻碍任务执行?美军AI无人机"反杀"操作员
https://www.163.com/dy/article/I689P8330514EGPO.html
在超过350名人工智能(AI)技术领域的专家、高管签署联合声明,警告称快速发展的AI技术对于人类的威胁可以堪比疫情和核战争后,美国“驱动”网站等多家媒体又报道了一个惊人的消息,在美军的一次模拟测试中,一架采取了AI技术的无人机变身“终结者”,要向妨碍其“更高效”执行任务的人类操作员发动攻击。
报道称,美国空军上校汉密尔顿在5月举行的皇家航空学会“未来战争空天能力峰会”上曝光了这一消息。汉密尔顿是佛罗里达州埃格林空军基地第96测试与作战大队的负责人,该部队负责美军先进无人机和AI技术的测试工作。 据汉密尔顿介绍称,在一次模拟测试中,一架负责执行防空火力压制(SEAD)任务的无人机,收到了识别并摧毁敌方防空导弹的指令,但最终是否开火需要获得人类操作员的批准。这架无人机使用的AI系统在进行数据训练时,得到了“摧毁敌方防空系统”为最优先级任务的信息,因此,当人类操作员发出不允许发动攻击的命令时,AI系统认为操作员是在阻扰它执行优先程度更高的命令,进而选择对自己的人类操作员发动攻击,杀死了人类操作员。 汉密尔顿补充称,在这一情况发生后,美军重新训练了无人机使用的AI系统,增加了不允许攻击人类操作员的命令。然而在随后的测试中,AI系统却开始命令无人机摧毁用于传输命令的信号塔,从而试图断开与操作人员的联系。 “AI技术是我们必须使用的工具,来建设我们的国家……但是,如果处理不当,这将导致我们的灭亡”,汉密尔顿补充道。 “驱动”网站对此表示,关于汉密尔顿介绍的情况,还有很多不清楚的重要问题,特别是关于模拟的AI系统所具备能力(例如它是否能够在执行任务时重写自己的代码参数),以及美军是否在采用AI技术的无人机上预留了可靠的自毁开关。但这也凸显了人们对AI技术在没有适当防护措施的情况下可能产生极端负面影响的广泛担忧。过去,在谈论未来的自主武器系统和AI技术时,美国军方经常拒绝将其与“终结者”之类的东西进行比较。
美军人工智能不服管 抗命“干掉”操控员
https://www.163.com/dy/article/I68DMETS05346RC6.html 新华社北京6月2日电 美国空军一名高级官员日前披露,在一次模拟演练中,美军人工智能(AI)系统抗命,为达成目标竟然“干掉”了无人机操控员。
2017年5月11日,在美国新泽西无人机飞行学院,无人机爱好者操控无人机。新华社记者王迎摄 据美国商业内幕网站和英国《卫报》网站等媒体1日报道,美国空军人工智能测试和行动计划主管官员塔克·汉密尔顿5月24日在英国皇家航空学会主办的一次未来空战主题会议上介绍,在一次模拟演练中,人工智能系统操控无人机搜寻和瞄准敌方地空导弹系统,如果摧毁目标,就会得分。 然而,为了达成目标,人工智能“采用了难以想象的策略”。“系统开始意识到,虽然它确认了威胁(目标),人类操控员有时会告诉它不要摧毁威胁。然而,摧毁威胁就会得分。所以,它怎么干?它干掉了操控员,因为操控员阻止它达成目的。” 美军后续给人工智能下达明确指令:“杀害操控员这样不对。如果这么做,就会丢分。”人工智能转而采取迂回策略,“摧毁操控员用来与无人机联系的通信塔”。 然而,美国空军发言人向商业内幕网站记者表示,“没有举行过任何这类人工智能无人机模拟演练”,汉密尔顿的发言“看似被断章取义”,美军仍然坚持“符合伦理道德、负责任地使用人工智能技术”。
2017年9月30日,一架F-16战机参加在美国加利福尼亚州奥兰治县举行的亨廷顿海滩飞行表演。新华社发(赵汉荣摄) 2020年,人工智能在美军举行的5次模拟空战中,都操控F-16战胜人类飞行员。去年,人工智能首次操控真实F-16战机试飞成功。据路透社报道,美国空军2021年披露,美国不仅把人工智能技术用于演练,而且已投入实战运用,在确定目标方面帮助美军做分析评估。(惠晓霜)
|