仅9秒钟，男子被骗走245万！

近日，“AI诈骗正在全国爆发”话题一度冲上热搜第一，引发网友热议。最近，类似AI换脸诈骗案件又发生了，这回甚至“更有效率”。

今年4月，安庆经开区发生一起“冒充熟人”诈骗案，经开公安分局反诈中心民警调查发现，诈骗分子使用了一段9秒钟的智能AI换脸视频佯装“熟人”，让受害人放松警惕从而实施诈骗。

4月27日，何先生的微信“好友”突然向其发起视频通话，电话接通后，何先生看到“好友”正在一间会议室内，就在他准备进一步询问时，“好友”直接挂断了电话，并表示在会议中有重要事情交代，需要何先生添加QQ沟通。随后，“好友”在QQ上告诉何先生，目前有一个项目招标需要周转资金，希望何先生先行帮忙垫付。“因为打了视频电话又是熟人”，“我就没多想，就转账了”，基于对“熟人”的信任，何先生没有犹豫，立刻让家人将245万元到对方指定的账号上，直到事后拨打对方电话才得知被骗。

接报案后，专案民警连夜行动，于4月28日下午一举抓获李某某等3名犯罪嫌疑人，扣押涉案手机26部，冻结、追回电诈资金一百余万元。5月22日，民警将先行追回的132万元被骗款返还给何先生。目前，该案件正在进一步侦办中。

此前多地都发生过类似案例。

4月20日，福建福州郭先生的好友突然通过微信视频联系他，称自己的朋友在外地竞标需要430万保证金。基于对好友的信任，加上已经视频聊天核实了身份，郭先生没有核实钱款是否到账，就分两笔把430万转到了好友朋友的银行卡上。之后，郭先生拨打好友电话才知道被骗，骗子通过智能AI换脸和拟声技术，佯装好友实施了诈骗。

“当时是给我打了视频的，我在视频中也确认了面孔和声音，所以才放松了戒备”郭先生说。幸运的是，接到报警后福建福州、内蒙古包头，两地警方和银行，迅速启动止付机制，成功止付拦截336.84万元，但仍有93.16万元被转移，目前正在全力追缴中。

最近，网上出现了一些“换脸直播”教程。在一个展示换脸直播效果的视频中，使用者把某明星的模型载入相关软件后，摄像头前的人在直播画面中就有了与明星相似的五官，但脸型和发型还保持原样。

此外，还有报道显示，有人用“AI换脸技术”合成淫秽视频，收费供他人观看，甚至根据顾客的需要使用不同的女明星形象进行“私人定制”，还通过出售“换脸软件”非法获利。4月9日，据杭州市人民检察院消息，近日，一80后男子虞某因涉嫌制作、传播淫秽物品牟利罪被提起公诉。

不仅普通人，上市公司也深受AI假新闻困扰，甚至“掐”起来了。

5月24日， 科大讯飞盘中接近跌停，起因直指两篇网传“小作文”。

第一篇小作文称，美国正在考虑是否将科大讯飞、美亚柏科等加入“实体名单”，禁止它们使用美国的组件或软件。第二篇小作文称，近期，科大讯飞被曝涉嫌大量采集用户隐私数据，并将其用于人工智能研究。

针对第一个传闻，科大讯飞24日盘后回复称，已于2019年10月被列入实体清单。被列入实体清单后，科大讯飞已迅速切换到以国产供应链为主的非美供应链体系，业务运营未受到重大影响。

而关于第二个传闻，则是“AI诈骗”。相关流传文字及截图，科大讯飞初步判断该段不实信息系某AI生成式软件生成。从流传的截图可知，该软件的标志正是百度的大语言模型、生成式AI产品“文心一言”。

科大讯飞刚刚辟谣，就引来百度文心一言市场负责人张文全在朋友圈怒怼，称：“听闻有友商把自己股价大跌，归咎于有人利用文心一言写了篇命题小作文，也是醉了。先别说小作文这事真假 (目前看来只怕是策划痕迹太重)，如果AI作文有这本事，百度员工自己先炒一下自己股价不香吗?中国发展自己的大模型技术挺不容易的把精力放到正事上吧，还请友商解决好自己的问题，别动不动就碰瓷别人，大家的眼睛都雪亮的。”

对于百度的最新回复，科大讯飞方面暂未作出回应。

实际上，一段时间以来，利用AIGC编造、传播虚假信息已不是“新鲜事”，人类社会已然步入“后真相时代”。

美国时间5月22日上午，一张“五角大楼附近爆炸”的图片在海外社交网络上疯传。据媒体报道，美国国防部发言人证实，这张在谷歌搜索和推特上疯传的图片是一条“虚假信息”。

这一虚假信息广泛流传后，美国股市出现了明显震荡，道琼斯工业平均指数4分钟之间下跌了约80点。

AIGC的发展正在给虚假信息治理提出前所未有的挑战。在“越来越像人类”的同时，人工智能所具有的“幻觉”“涌现性”等特点带来的伴生风险也引发各界关注。

AIGC为什么能成为谣言“推手”？南开大学法学院副院长、博导，中国新一代人工智能发展战略研究院特约研究员陈兵教授表示，AIGC技术日渐发展成熟，可以完成包括写邮件、代码、新闻报道以及论文在内的多种任务，且表述内容与人类对话风格相似，一般人难以区分。此外，其使用门槛和成本低，生成效率高，能够在短时间内生成大量虚假信息，从而迅速淹没真相。

中国政法大学数据法治研究院教授张凌寒指出，俗语说“耳听为虚，眼见为实”“有图有真相”，可见照片、视频在公众潜意识中的真实性远胜文字。而深度合成技术则恰恰颠覆了这一公众认知，其可以伪造音频、图片、视频，捏造人物的行为与语言。深度合成技术在近几年迅速兴起，为政治、军事、经济犯罪甚至恐怖活动等提供了新工具，带来严峻的安全挑战。

在北京航空航天大学法学院副教授、北京科技创新中心研究基地副主任赵精武看来，ChatGPT等生成式AI最显著的技术优势就是能够以贴近人类思维和表达的方式呈现信息，这就导致网民更难以甄别其生成信息的真伪，加之人工智能技术能批量生成信息，海量且高效的网络谣言生成，显然会导致官方辟谣、账号封禁等传统虚假信息治理措施难以发挥预期效果。

深度合成、人工智能技术火爆出圈，如何平衡创新发展与风险防范成为必答题。

“深度合成技术生成的信息内容一旦传播，其损害仍然难以弥补，这就对辟谣机制和澄清机制的建设提出了要求。”张凌寒说。

ChatGPT的问世，引发了各方对于大语言模型的监管与安全问题的担忧。3月31 日，意大利率先宣布禁用ChatGPT。4月3日前后，德国、英国、韩国等监管部门纷纷采取措施加强对ChatGPT监管。

4月11日，我国也出台了第一份对生成式 AI 进行监管的文件，国家互联网信息办公室正式发布《生成式人工智能服务管理办法（征求意见稿）》。同日，美国商务部就ChatGPT等AI工具监管措施公开征求意见。各地对于大模型监管的高度重视凸显了大模型自主可控对于个人隐私、行业数据乃至国家安全的重要意义。

对于AI诈骗相关的法律问题，北京市京师（上海）律师事务所律师李文玲告诉21世纪经济报道记者，“如果人工智能生成的文章存在虚假宣传或误导性陈述，可能违反有关虚假宣传的法律，引发相应的纠纷。”

她提到，我国目前对于AI自动生成文章的行为，并没有出台相应的法律专门作出规制。不过，她说，“我国《网络安全法》规定了，任何个人和组织不得使用网络侵害他人名誉、隐私及知识产权，使用AI生成虚假信息毫无疑问违反了网络安全法的相关规定。基于我国目前对涉及人工智能网络使用的法律规定，对使用AI可能发生的侵权行为，可以参照民法典及相关民事法律中的规定进行处理。”

对于谁来担责的问题，李文玲表示，如果是个人或组织使用人工智能系统生成侵犯他人合法权利的文章，使用的个人或组织应当承担相应法律责任。如果人工智能系统是由某个平台或提供者提供，该平台或提供者对于侵权行为有过错的也应当承担一定的法律责任。此外，由于人工智能侵权行为的内容多通过网络传播，根据我国民法典的规定，网络服务提供者如果对于侵权行为没有及时采取措施的，其对于损失的扩大部分，应当承担连带责任。

来 源 | 21世纪经济报道（记者：张赛男、钟雨欣）、大皖新闻