AI诈骗爆发！10分钟从老板手里骗走430万元！
AI换脸诈骗200多万元！
涉嫌寻衅滋事罪！甘肃公安侦破首例利用AI炮制虚假信息案……
日前，有关AI诈骗、非法获利的新闻层出不穷，“AI 诈骗正在全国爆发”的话题多次冲上微博热搜。
AI生成的声音越来越自然流畅，视频越来越逼真，普通人的耳朵和肉眼已经难辨真伪，甚至连科技从业者也可能被骗。以至于有消息称，AI技术的新骗局来袭后，诈骗成功率竟接近100%。
一直在不断自我优化、升级换代的深度伪造技术，让一些群体开始野蛮生长，利用AIGC（生成式人工智能）从事违法犯罪的勾当。
但中国有句老话，“魔高一尺道高一丈”。AI大潮已经将我们裹挟其中，要想更好地应对，预防技术滥用，需要社会各界一起通过向善的价值观进行技术防御。如此，我们才能够用“魔法打败魔法”！
AI诈骗在全国爆发
AI换脸、AI换声技术都不是新鲜事物。
早在2019年，国内就出现过一款换脸软件“ZAO”，许多明星、名人遭到恶搞、被造黄谣。很快，这款应用便因为涉及侵犯隐私而遭到下架。但由此带来的换脸诈骗技术却开始暗自滋生，直到今年出现大爆发。据报道，第一起“AI换声”诈骗也发生在2019年。
过去几年，“AI诈骗”时有发生。但从去年底开始，美国、加拿大等地发生此类案件的数量明显增多。今年开始，我国发生此类案件的数量同样明显增多，涉案金额也越来越大。
上图：在2019年，国内出现过一款换脸软件“ZAO”，许多明星、名人遭到恶搞、被造黄谣。
“我们认为，这和深度合成技术的成熟度、普及度是分不开的。”瑞莱智慧联合创始人、算法科学家萧子豪说。
AI换脸、AI换声主要使用的是深度合成技术。随着深度合成技术的开源开放、深度合成产品和服务的增多，深度合成内容制作的技术门槛越来越低，实现了技术的“平民化”，普通人也能用少量图像、音频等样本数据，利用简便易用的合成工具，制作深度合成内容。想想美图秀秀的漫画形象、导航里的自我语音导航、抖音里的一键生成，就能知道它们的功能到底有多强大。
萧子豪介绍，目前视频聊天或直播的AI换脸有两种方式：一种是事先做好的换脸视频直接播放，一种是接入实时换脸的视频。前者目前的制作成本非常低，有公开成熟的应用可以支持该项工作；后者虽然没有发现有公开的应用，但也有非常成熟的技术手段可以支撑。做成一段视频的时间和设备、算力等因素相关，当前技术可以做到实时产出结果。基于目前的技术能力，替换前的原始视频图像在面部清晰、正脸无遮挡、无夸张动作等条件下，会展示出比较好的效果。
不过在萧子豪看来，“诈骗成功率接近100%”的结论要打个问号——目前人们看到的报道都是已经被骗的案例，但不代表在实际发生过程中，所有的诈骗行为最终都成功了。诈骗成功率是由很多因素决定的，不完全由诈骗分子的技术能力决定，个人的反诈意识也是重要因素。但不能否认，深度合成技术在一定程度上模糊了真与假的认知边界，使得识破诈骗的难度变得更高了。
知道创宇业务安全产品线总经理鄢晓玲在接受《新民周刊》专访时指出，无论是之前的AI语音、AI换脸，还是现在由AIGC生成的语音、视频，它们底层用的都是同样的算法和技术。ChatGPT的发布和开放，很大程度上带动了AIGC的开源社区的活跃度，从而涌现出了大量的开源模型和成熟产品。以前的图文比较割裂，但现在的技术就像“大脑”一样，可以让图文音视等多个模态，完美地结合起来，并自如地去切换和应用，从而能更容易地生成那些逼真的诈骗素材。
“原来只能生成一些相对来说比较静态的，或者是固定套路、固定话术的内容，但是现在有了一些底层的知识和一些预设的身份以后，你就可以跟AI数字人自如地对话了，这在以前是做不到的，只会在影视剧的制作中使用类似的技术。”在鄢晓玲看来，现在一下子推出了那么多成熟的应用和产品，让普通人都能轻易上手，也就使得骗子更容易制作出逼真的音视频素材去进行诈骗，“从理论上来说，技术的提升导致了诈骗成功率的提高”。
普通人只有被骗的份儿？
上图：下载国家反诈中心App对老年人来说是一个较为管用的防诈骗手段。
一键换衣、制作不雅视频等等，包括之前在互联网上广为流传的特朗普被捕照片，现在的AI生成的东西太真实了。实际上，目前AI已经可以批量制作大量的视频，制作多段替换成同一人物的视频，也可制作同时替换为多位人物的视频。
作为普通人，我们可能根本无法识别。
比如，一些微商团队发布明星的祝福、宣传视频来发展下线，其中不少视频并非明星真实录制，而是运用了 AI 换脸、AI 语音合成等技术制作而成，不少人信以为真而选择加入，结果陷入骗局；还有一些人利用 AI 生成图片、视频进行裸聊诈骗，要求受害者下载 App 进而将其手机通讯录拷贝过来，后续以此为要挟进行敲诈，很多人中招。
那么，有没有一些小技巧可以帮助普通人去进行初步的识别呢？
萧子豪建议，如果遇到这类疑似AI换脸诈骗的情况，可以在视频时有意识地引导对方做一些动作，如大幅度的摇头或张嘴。就目前的 AI 伪造水平来讲，仍然没办法在有遮挡及人脸偏转的情况下，生成无瑕疵的视频效果。
“我觉得让对方张嘴是一个比较有效的方式，比如看对方的牙齿结构是否清晰、舌头形状是否完整，很多不法分子可能只考虑对正脸做个建模，但没有建模嘴巴、牙齿跟舌头。如果骗子技术手段较弱，那么我们有可能发现对方面部边缘或者牙齿的瑕疵，从而识别出AI换脸。不过，这个方法对于识别出‘高水平’的不法分子，还存在难度。”萧子豪表示。
如果疑似是声音伪造，可以试一下与对方用方言交流。不过，这个方法同样难不倒高水平不法分子，目前方言合成方法和工具也非常丰富，音色很稳定、自然度也很高。最好的办法可能是可以追问几个只有你与对方之间才知道的私密信息，来核实对方身份。
在鄢晓玲看来，现在的骗子也是“精准行骗”。他们会根据所要实施的骗术，通过 AI 技术筛选目标人群，在短时间内生产出定制化的诈骗脚本，实施精准诈骗。比如情感诈骗的骗子会筛选经常发布感情类信息的人群，金融诈骗的骗子会筛选经常搜索投资理财信息的人群。
“骗子都是聪明人。他们很会拿捏受害人的心理，比方说利用人的虚荣心，利用中国人爱面子、不好意思拒绝，或者利用一些人爱贪便宜、爱猎奇猎艳的心理，都很容易陷入裸聊杀猪盘等诈骗圈套中。”鄢晓玲说，这么多年来的反欺诈、违法违规内容鉴别工作，让她更加感慨现在的AI骗局，很容易通过骗子事先详细的“功课”，做到定制专门的骗局脚本，获取受害人的信任，让人防不胜防。
在 AI 诈骗面前，专家通常会根据画面的频域信息、质量、生物特性、物理特性等维度来鉴别真伪。对于普通人而言，可能需要更加谨慎地使用所有会让你自拍、录音的软件，也需要谨慎使用所有能访问你的摄像头、麦克风，甚至是相册的软件。
两位业内专家都表示，对于容易上当受骗或者对智能手机使用不那么熟悉的老人，帮助他们下载国家反诈中心 App是一个很管用的选择。此外，尽量不要在微信、支付宝内绑定银行卡，只存少量的零钱，尽量不要开通网上支付业务。
萧子豪认为，AI诈骗是在传统诈骗的基础上运用了人工智能技术，并不意味着传统诈骗手段不再存在或不再有效，只不过是增加了诈骗的复杂性和识破诈骗的难度。相比传统诈骗，AI诈骗利用了“眼见为实”常识，降低了受害者的警惕性，也导致这类诈骗很难防范。
“对于普通人而言，如果说你发现诈骗的内容有违常理和常规的时候，不要第一时间相信，尤其是涉及个人财产的时候，就需要提高警惕。因为哪怕没有AI，电信诈骗还是会存在！”鄢晓玲说，普通人很可能无法区别到底是不是AI在诈骗，但“事出反常必有妖”的铁律在任何时代都成立。遇事保持足够的清醒和质疑非常重要。
用魔法打败魔法
除了诈骗以外，AI 技术还被用来增加流量，非法获取收入。此前就有骗子将自己的脸 AI 换成某明星，开直播引导粉丝刷礼物，或者将自家主播 AI 换脸成杨幂、迪丽热巴进行带货。
纵观AIGC生成的海量内容，可能导致的违法乱纪情况，包括但不限于：误导性和虚假信息、不当或违法内容、深度伪造的内容、恶意利用的安全事件、伦理道德、歧视性内容和隐私泄露。
鄢晓玲说，自己所在的团队从2012年就开始与腾讯合作，进行反欺诈和反违法违规内容的模型识别工作。后来又开始与抖音、微博、快手、京东等大厂商合作。
“坦白来说，作为普通人，虽然说我自己很了解AI生成的一些原理和背景，但如果你随便拿一些东西来让我识别它到底是出自于AI还是出自我们人类生产，肉眼上，我是很难去识别的。但这并不是说我们就只能坐以待毙了。”鄢晓玲表示，用技术来判断是可以实现的，算法在一定程度上是能够去识别哪些是AI生成的，哪些不是。
但要让算法具备这样的能力，需要大量的标注和训练。你要告诉它这些内容是 AI生成的，这些内容是人类生成的，然后再通过一部分人工去验证AI识别的准确性，通过这种方式去反哺 AI，进一步改进；哪些可能又是一些新的特征，下次要把它加入到可以识别的范围内来，通过这样不断的训练，让AI越来越智能。
在鄢晓玲看来，硬件、算法和数据，对于AI来说，是三个核心要素。“硬件，可以把它理解为是教室，它是AI能够去学习的物理条件。算法是老师，它给AI模型的训练制定规则，解决怎么学习的问题；数据则是教材，它决定了AI模型会学到点什么，也就是学什么的问题。由此不难看出，算法和数据非常重要，如果模型设计中带有偏见、不公、歧视或者某些缺陷，又或者数据中包含了非常多‘杂质’，那么培育出来的AI就有可能‘失控’。”
举个简单的例子，在涉政领域，对于国家主权、种族歧视，还有各种分裂者的一些观点，训练者会把有这种有诱导性的问题抛给模型，看模型怎么回答。然后通过人工干预，让AI建立起边界感，“不能一本正经地胡说八道”。“就像在学校里学习的孩子，毕业的时候要经过一个基本的考试。面向社会公众使用的AI模型，同样应该经过一些基线评测。”鄢晓玲说，他们正在向相关部门提供一些方案，力争能够早日达成业界共识。
萧子豪则表示，瑞莱智慧一直在研究深度合成技术的自动化检测，而他们主要的鉴别方式确实可以用“魔法打败魔法”来概括，也就是用AI去打败AI。
常用的方法包括基于伪造内容数据集完成对模型检测器的训练、基于帧间不一致性实现对伪造内容的判别等，这些方法在公开数据集中均能达到99.9%的准确率，在产业实践中的检测准确率也已达业内顶尖水平。通过这些技术手段，可以准确地在某些金融机构的实名认证环节中拦截深度伪造攻击、监测到互联网中的明星AI形象带货直播。
目前防范的难度主要在于AI技术不断自我优化、升级迭代，深度合成内容质量不断提升。换声的自然度以及换脸视频的逼真度、流畅度都在不断提高，逐渐模糊了真实和虚假的边界，传统鉴别方式越来越难以发挥作用。
“我们的辨别思路大致可分为两种，一种是寻找图像编辑痕迹，一般来说这类换脸都会对原先的人脸进行编辑，这个过程中会有类似图片编辑的操作并且留下痕迹，这类痕迹和真正拍摄时的痕迹是不一样的，我们会检测这类痕迹做出记录。另一种则是检测视频中是否会展现出不符合常识的行为，如长时间不眨眼等等。综合上述特征，我们的平台就可以自动判定该内容是否存在深度伪造的可能性，并根据可能性大小来做出相应处置。”萧子豪强调，目前，已经有不少网站开始依据相关规定对AI生成的内容进行标识。此举对快速发展的虚拟数字人产业会起到推动、引领作用，并不会影响它的商业价值。
任何一项技术都是一把双刃剑，既能推动社会进步，也能挖掘出人性中隐藏的恶。除了眼下大家有点谈虎色变的“AI诈骗”，AIGC的应用非常广泛，例如影视制作、广告营销、电子商务、社交娱乐等。它给社会带来的积极影响也是显而易见的，如提高人们的内容创作效率、孕育新的技术形态与价值模式、产生新的就业机会等等。
任何技术都应该要在可控、可监督的范围内发展无疑是全社会的共识。记者｜陈冰