人工智能对抗样本攻击：男变女，标识牌“停止”变“限速”

南都讯 记者陈志芳 12月5日，在南都2019啄木鸟数据治理论坛上，中国电子技术标准化研究院信息安全研究中心数据安全部主任胡影说，目前针对人工智能出现了新的攻击威胁，如对抗样本、数据投毒、模型窃取、人工智能系统攻击等。

1

对抗样本攻击导致人脸识别失效

据介绍，以对抗样本为例，如果在意为“停止”的交通标识牌上贴上一些标签，人工智能可能就识别不出“停止”的意思，而会识别成“限速45公里”。

胡影还介绍了针对人脸识别的对抗样本，当一名男性佩戴上3D打印的奇特眼镜，人工智能可能会将其识别成另一名女性。

3D打印的眼镜对抗人脸识别系统。图自网络。

胡影说，人工智能技术距离“很好用”仍存在诸多瓶颈，通用人工智能研究与应用依然任重道远。

即使在没有外界攻击的情况下，人工智能技术在实际应用中仍存在问题。就在去年，美国亚利桑那州发生了全球首例自动驾驶车辆撞死行人的事故。当时，Uber的自动驾驶汽车的后台系统没有识别出马路上的行人，仅将其识别为“物体”。据外媒报道，美国国家运输安全委员表示，当时该行人是横穿马路，而Uber自动驾驶汽车系统设计中并没有考虑到横穿马路的行人。

2

应警惕人工智能的滥用

基于上述的人工智能问题，胡影认为，这需要警惕人工智能的滥用，人工智能在欺诈、违法不良信息传播、密码破解等攻击手段的应用，给传统安全检测带来了新的挑战。举例来说，2018年，某高校基于人工智能技术建立了一套验证码求解器，仅在0.05秒之内就攻破验证码。另外，早在2017年，我国浙江、湖北等地就发生多起犯罪分子利用语音合成技术假扮受害人亲属实施诈骗的案件。

对此，胡影说，人工智能还处在发展阶段，为了保障其在重要行业领域深入应用时的安全，需保障人工智能资产的保密性、完整性、可用性、鲁棒性、透明性、公平性等，其中鲁棒性指人工智能系统在受到外部干扰或处于恶劣环境条件等情况下维持其性能水平的能力。