陈某某系一名网约车司机，因违规接单其账号被平台封禁。某日，陈某某在搭乘网约车过程中，发现该司机竟然能同时使用多部手机接单，经交谈后才得知原来对方用于接单的手机是“定制”的，内部安装一款特殊软件可以绕过平台人脸识别验证。于是，陈某某在同行“推荐”下也租借了改款“定制”手机。
2023年11月，平台公司在日常巡查中发现部分账号的人脸识别视频存在异常，怀疑有人利用AI换脸技术进行实名认证，严重影响平台信息系统安全，遂向上海市公安局静安分局（以下简称“静安公安分局”）报案。经进一步侦查，侦查人员发现涉案司机所使用的定制手机系犯罪嫌疑人刘某某制售，手机内置一款经过改装的“虚拟相机”应用程序。2023年12月13日，刘某某被侦查人员抓获。
2024年3月18日案件移送至静安区检察院审查起诉。在收到案件后，承办检察官认为要想准确认定犯罪嫌疑人刘某某的行为，必须先弄清其制售的手机是如何绕开平台人脸识别监管，继而判断其提供的工具系属于侵入计算机信息系统的专门性程序、工具。
为此，承办检察官结合相关微信聊天记录，围绕手机程序如何运作问题对犯罪嫌疑人刘某某进行针对性讯问。
据刘某某交代，自己是在某电商平台经营一家网店，专门为无人直播提供虚拟相机软件及远程调试服务。2023年7月，张某某主动联系其并询问店铺里售卖的虚拟相机软件能否通过某网约车平台的人脸识别。经一番交谈后，刘某某得知张某某系网约车司机，因为账号被封禁遂想借用他人身份注册账号接单。之后刘某某根据对方需求进行调试，在手机内安装相关“虚拟相机”程序，并结合AI换脸技术修改程序参数，绕过平台人脸识别验证，最终实现无须真人验证即可登录他人网约车账号，非法获取系统派单。
承办检察官认为，犯罪嫌疑人刘某某制售装有“虚拟相机”的改装手机，为网约车司机避开平台信息安全保护措施提供技术支持，且该程序功能单一，属于“专门用于侵入、非法控制计算机信息系统的程序、工具”。经查，刘某某陆续向他人有偿提供装有上述应用程序的手机11部，违法所得人民币1万余元，其行为符合《中华人民共和国刑法》第二百八十五条第三款之规定，构成提供侵入、非法控制计算机信息系统程序、工具罪。
检察官表示，人工智能技术飞跃发展，为经济发展注入巨大动能，也给人们日常生活带来诸多便利。但技术是一把“双刃剑”，与传统犯罪相比，利用数字信息技术实施的犯罪具有专业、隐蔽、复杂特征。技术本无善恶，但技术的使用需要规则和监督。下一步，静安区检察院将充分发挥检察职能，始终坚持惩防并举、源头治理的理念，依法惩治危害网络安全、数字安全犯罪，在持续加强全链条打击力度的同时，强化“四大检察”融合履职，深挖此类犯罪的规律特点，会同相关职能部门完善常态化治理机制。同时，进一步深入开展宣传教育，增强群众对AI犯罪的防范意识，充分认识技术滥用的法律风险，推动共建数字安全保护“大格局”。