AI生图五大乱象|“艳照”里的生意:换脸和脱衣,屡禁却难止

全文3358字,阅读约需10分钟,帮我划重点

划重点

01AI生图技术在带来便利和惊奇的同时,也暴露出诸多负面问题,如诈骗、侵犯隐私和肖像权等。

02近年来,利用AI换脸技术进行诈骗的案件时有发生,受害者被骗走巨额资产,甚至家庭破裂。

03由于此,警方提醒网民遇到此类情况要及时报警,留存证据。

04然而,一些商家仍在秘密出售具有“一键去衣”功能的软件,可能涉嫌违法甚至犯罪。

05专家建议建立健全人工智能应用相关法律体系,加强监督监管机制。

以上内容由腾讯混元大模型生成,仅供参考

在当前这个AI遍地走、门槛近乎无的时代,如果你还没有试过用AI生成图片或视频(以下统称AI生图),那确实有点不够“潮”了。

与其他新技术一样,AI生图技术自诞生之日起就充满争议,一路鲜花与荆棘相伴。支持者视它为颠覆性的技术革命,反对者视它为洪水猛兽。特别是近两年以ChatGPT、Sora为代表的AI数据大模型横空出世,AI生图已成为刷屏时尚,受到越来越多的网民追捧。它在给人们带来极大便利、惊奇、抚慰的同时,也必然暴露出诸多荒诞不堪、令人生厌、甚至违法犯罪等负面问题。

AI本无罪,关键在于如何使用它。只有坚守伦理和法治底线,技术才能更好造福人类。今天,上游新闻推出“AI生图五大乱象”专题报道,聚焦近年来AI生图领域里暴露出的种种乱象,追根溯源、剖析因果,探索解决之道,以期对AI产业健康发展有所裨益。

2024年2月,家住重庆市渝北区的尚先生(化名)突然收到一条短信,内容是一张黑白裸照。画面中尚先生搂着一名年轻女子,躺在某酒店床上,附言“我有你全部的影像资料,赶紧跟我联系”,并提供了一个电话号码。由于平时洁身自好,加上比较熟悉网络诈骗和AI换脸等常识,尚先生知道自己被不法分子利用AI生图进行诈骗,并未理会,还将自己的遭遇告诉了妻子,并分享到微信好友群中,遭到不少善意的调侃。对此,尚先生告诉上游新闻(报料邮箱:baoliaosy@163.com)记者,“我知道那张图片是AI合成的,用的是我身份证上的人脸,合成了一个裸体。但我好奇的是,这些骗子是从哪里找到了我的身份证照片和手机号?”

上游新闻记者调查发现,据多家媒体和警方通报,类似AI换脸骗局最近几年时有发生,不少人信以为真,导致被骗走巨额资产,甚至家庭破裂。而多名制作传播图片和视频并进行诈骗的不法分子,也受到了法律的严惩。

受害者:有的被骗钱,有的被“换脸”

重庆的尚先生虽然收到了不法分子的敲诈短信,但他幸运躲过一劫。相比之下,山东威海的王先生也遭遇了同样的骗局,他被索要68万元,最终被迫转账20万元。

王先生收到的短信内容与尚先生几乎一模一样,他没有多想,便拨打了短信中的电话。对方准确说出了自己的姓名以及工作单位,并告诉王先生转账68万元就可以买断这些视频,如果不给钱就把视频公开。在对方的恐吓下,王先生信以为真。随后,王先生经过多方筹集,先后转账20万元。然而这20万元根本满足不了对方的胃口。后来,民警联系到了王先生。

经过仔细观察,办案民警发现短信内这张照片,虽然脸部与王先生有相似的地方,但脸型以及身形完全不是他本人。随后,民警赶紧对王先生转账的两个银行账户进行紧急止付操作。经过对收款账户的研判分析,警方锁定了犯罪嫌疑人郑某和钟某的身份信息。今年1月,威海警方将两名犯罪嫌疑人抓获归案。

图片

尚先生和王先生遭遇的短信诈骗,自己的头像被AI制作成裸体照片。

据威海警方介绍,在这起案件中,犯罪嫌疑人先是通过网络等渠道,搜集被害人的视频、照片以及相关信息。再通过AI换脸技术PS合成所谓的“不雅视频”或“艳照”,然后通过短信、邮箱等渠道,精准发送给选定的对象并留下联系方式,最后以要举报、散播、告知家属等手段威胁选定的对象,要求被害人将钱汇到他们指定的银行账户。警方提醒,如遇到此类情况,一定要注意留存证据,及时报警。

相比男性,年轻貌美的女性尤其是知名女网红,更容易遭到AI换脸、AI“一键去衣”的影响,照片和视频甚至被制作成收费内容出售。去年7月,一名有着400多万粉丝的网红女博主发现,很多粉丝留言说看过她的“色情视频”,“当时没多想,我认为清者自清,谣言总会过去。”直到有天一位朋友转来一段色情视频,女主角正是自己的模样,她才意识到遭遇了恶意“换脸”,自己被制作成了色情视频。

当时据媒体报道,在卖家的价目表中,数百名网红被按照粉丝量级做了区分,从50万粉丝以下到1000万粉丝以上,对应的换脸色情视频售价在30元到50元不等。此外,表格中还有众多女明星。一名卖家表示,自己拥有80多位明星、一万五千余张图片。如果全部购买,仅售价60元,还赠送23部视频。卖家还称,如果购买单个明星的换脸图片,则根据数量收费,5元钱能购买300张照片。

此外,不少生活中的普通女性在学校、商场、办公室、地铁等日常场景中的照片也成为AI盗脸的对象,她们被AI换脸或脱去外衣,相关图片有数千甚至上万次的浏览量。

图片

广州一名年轻女子乘坐地铁时,照片遭“一键去衣”。

生产者:伪造近7000张裸照,每张1.5元

作为色情淫秽内容的生产者,不少隐藏在网上的作者已经遭到了法律的严惩。

今年7月,央视新闻报道了一起利用AI技术伪造了近7000张淫秽图片的违法案件。犯罪嫌疑人白某某家住北京,原本是一家互联网公司的技术员,他利用AI“一键去衣”技术,深度伪造淫秽图片近7000张,以每张1.5元的价格卖出。图片涉及女性人数多,包括学生、教师、同事。检察机关认为,被告人白某某以牟利为目的,制作、贩卖淫秽物品,情节严重,其行为触犯了《中华人民共和国刑法》的相关规定,应当以制作、贩卖淫秽物品牟利罪追究其刑事责任。

图片

北京一男子制作近7000张淫秽图片,并以每张1.5元的价格卖出。

去年4月,据杭州市人民检察院消息,80后安徽男子虞某因涉嫌制作、传播淫秽物品牟利罪被提起公诉。虞某早在2020年“AI换脸”刚刚兴起的时候,就对该项技术产生了兴趣,还通过自学掌握了这门技术。后来,虞某在国外的社交平台上注册账号并建群,其他人若想进入“内部群”,要缴纳198元-498元不等的“会费”,进群后能看到不少利用AI换脸技术制作的淫秽视频,还能根据顾客的需要使用不同的女明星形象,进行“私人定制”。短短几个月,虞某就收获了数万元。

在虞某所组建的公开群内,公安机关共查证淫秽视频1200余部、图片1600余张,经鉴定,上述均系淫秽物品。去年11月,杭州市萧山区人民法院判决被告人虞某犯制作、传播淫秽物品牟利罪,判处有期徒刑七年三个月,并处罚金6万元。

图片

年轻貌美的女性容易成为AI换脸的受害者,有的商家甚至推出“定制服务”。

调查:软件难购买,贴吧已被封

此前据媒体报道,2023年,不少平台能买到具有“一键去衣”功能的相关软件。不少网友也在网上购买、交流相关软件和产品的使用心得。

比如某款产品就明确标注,“该软件可实现真人转卡通功能、换头和换衣功能”。这款软件售价仅需16.66元,月销量达到200单以上。有人在该店铺评论区提出疑问,“真能去衣?”多人回复称,“可以。”

当时,在名为“deepfake”的贴吧里,与AI换脸有关的帖子超过9000条,里面有大量明星换脸视频的售卖信息。一个名为“合成联盟”的用户在群里公开售卖换脸色情视频,清单里的数量达150多部,并称“白菜价全部只要58元”。

上游新闻记者搜索deepfake贴吧发现,该贴吧已经被封。记者在多个电商平台上搜索“AI换脸”“一键去衣”关键词,均无法显示。在一些店铺内,不少标明“智能消除”“智能扩图”等功能的软件,店主回复称并不具备“一键去衣”的功能。不过,记者注意到浙江一名卖家出售一款名为“换衣神器”的软件,售价为18.80元,声称“无论换衣还是重绘,都能轻松应对。”

记者通过私信联系了该卖家。对于“能否去衣”的咨询,该卖家非常警惕,“不要说得这么直白,监控着呢!”随后他隐晦表示,“可以去Y(衣)。”记者按照要求付款后,该商家发来一个网盘下载地址和使用教程。

记者按照商家的提示,发现该APP的确可以实现“一键去衣”的功能。

图片

某二手交易平台上,仍有商家在秘密出售具有“一键去衣”功能的软件。

律师说法:情节特别严重者,最高无期

记者发现,如今在某些论坛上,仍有网友在秘密寻找免费的“一键去衣”软件。那么,发布或售卖相关软件的商家,是否涉嫌违法甚至犯罪?网友如果使用软件生成发布相关照片视频,仅用于保存“欣赏”是否触犯法律?如果分享出来,又面临何种处罚?

知名刑事辩护律师、河南泽槿律师事务所主任付建告诉记者,制作图片视频、售卖“一键去衣”软件等行为,涉及侵犯个人隐私、肖像权,涉嫌违法甚至犯罪,可能面临刑事处罚。首先,售卖相关软件的商家,涉嫌制作、贩卖、传播淫秽物品罪,根据《刑法》的规定,以牟利为目的,制作、复制、出版、贩卖、传播淫秽物品的,处三年以下有期徒刑、拘役或者管制,并处罚金;情节严重的,处三年以上十年以下有期徒刑,并处罚金;情节特别严重的,处十年以上有期徒刑或者无期徒刑,并处罚金或者没收财产。

其次,自然人的肖像权受到法律保护,非经自然人同意,不可直接制作使用他人肖像。网友如果使用软件生成相关照片视频,自己保存“欣赏”也涉嫌侵犯他人肖像权。如果制作后分享在微信群或者社交平台上,涉嫌侵犯他人肖像权、名誉权,需要承担一定的民事责任。其行为涉嫌违反《治安管理处罚法》,情节严重的可能涉嫌传播淫秽物品罪。根据情节的严重程度,可能面临有期徒刑、拘役、罚金等刑罚。

针对AI换脸、去衣等现象,中央民族大学法学院教授李梁表示,首先要对人工智能应用违法的侵权主体进行明确划分;其次要对人工智能应用违法责任(后果)分担机制进行构建;再次,在综合考虑法理及社会利益的基础之上进行科学立法,建立健全人工智能应用相关法律体系,推动技术研究及科学发展,加强监督监管机制。

上游新闻记者 金鑫 部分综合自央视新闻、央广网、新京报、人民网等