AI（人工智能）一键换脸、AI克隆声音、AI钓鱼邮件……近日两起诈骗金额上百万元的案件引起人们关注。AI技术加快速度进行发展，挑战也逐渐显现。
近日，内蒙古包头警方通报一起利用AI实施诈骗的案件。在该案件中，福州市某公司法人代表郭先生10分钟内被骗430万元。据通报，骗子通过AI换脸和拟声技术，佯装熟人实施诈骗。
今年4月份，在安徽安庆经开区发生一起AI换脸诈骗案中，诈骗分子使用一段9秒钟的智能AI换脸视频佯装“熟人”，让受害人放松警惕被骗走245万元。
AI诈骗是利用AI技术模仿、伪造他人的声音、面孔、视频等信息，进行欺骗、敲诈、勒索等犯罪活动。早在2019年外媒就报道过诈骗犯利用深度伪造语音技术冒充英国某能源公司高管诈骗24万多美元的案例。
中国信息通信研究院云计算与大数据研究所内容科技部研究员呼娜英对国是直通车表示，当前，随着深度学习等AI技术的成熟，AI诈骗体现出诈骗手段愈发多样、诈骗门槛大幅度降低、辨别难度不断加大等特点。
赛迪研究院网络安全研究所所长刘权对国是直通车表示，随着AIGC（AIgeneratedcontent，人工智能生成内容）技术的大爆发，普通人也能接触各种先进生成工具，制作出难以识别的高质量合成内容，欺诈手段愈发多样，使得防范AI诈骗的难度不断提升。
在网上，换脸软件、换声软件既有免费也有付费，不仅能照片换脸，而且能视频换脸。高逼真的换脸付费软件价值仅在几百元至几千元之间，有些甚至还推出了包月服务。
“基于公开发布的数据信息、照片、视频，利用深度合成等AI技术生成高度逼真的图像、视频和语音等内容，这些以假乱真的虚假信息更易取得对方信任，从而使得受害者放松警惕。”刘权表示。
奇安信董事长齐向东表示，AI一定会给数字世界带来新的安全威胁，目前有两个方面：一是它可以仿造、以假乱真，实施诈骗；二是AI还可以帮助黑客提高攻击水平，尤其是把不懂黑客技术的一些人快速培养成黑客，帮助黑客写程序、写代码，帮助黑客制定攻击方案，提供攻击策略。
今年以来，以ChatGPT为代表的生成式人工智能加快速度进行发展，背后暗藏的个人隐私、数据安全、知识产权保护等一系列法律风险和伦理等问题引发社会各界关注。对此，国家相关法律政策正陆续出台，人工智能等新技术的发展和治理慢慢的受到重视。
今年4月，国家互联网信息办公室就《生成式人工智能服务管理办法（征求意见稿）》向社会公开征求意见，其主旨思想是促进生成式人工智能技术的健康发展和规范应用。
刘权认为，《管理办法》建立了AI服务的管理框架，对生成式人工智能服务提供者和使用者进行了规范化管理，要求提供生成式AI产品或服务的企业或个人进行实名认证、信息公示、申报安全评估、履行算法备案和变更、注销备案手续等措施，这有助于减少非法个体或组织实施AI诈骗的可能性。
《管理办法》对生成式AI产品采用的预训练数据、优化训练数据过程，人工标注过程以及生成的文本、图像、声音等各个阶段需要遵守的规则和服务提供者履行的义务进行了详细列举，明确生成式AI产品过程中涉及的数据使用安全，有助于保护用户个人信息不被泄漏，保障隐私安全。
另外，《管理办法》建立了完善的问题投诉处理机制。《管理办法》规定了对生成式人工智能服务过程中发现或用户举报的不符合管理办法内容的及时解决的方法，要求当发生侵害他人肖像权、名誉权、个人隐私、商业机密等现象时必须停止生成并优化模型。
呼娜英表示，2023年1月施行的《互联网信息服务深度合成管理规定》，细化了深度合成技术支持者、服务提供者、服务使用者以及应用程序分发平台的主体责任，规定的落实将有效遏制AI换脸等诈骗事件。
例如，《规定》明确深度合成服务提供者应当使用显著方式，对可能会引起公众混淆或者误认的深度合成内容信息进行标识，显著标识的实施将保障公众对生成内容的知情权。《规定》还提出深度合成服务提供者应在内容信息中添加不影响用户使用的标识并保存相关日志信息，隐性标识的落实将确保发布或传播的深度合成内容信息可追溯。
近日，国务院办公厅印发《国务院2023年度立法工作规划》，其中人工智能法草案等预备提请全国人大常委会审议，这在某种程度上预示着国家层面的人工智能立法将进入新阶段。
中国信通院云计算与大数据研究所所长何宝宏此前接受媒体采访时建议，要组织跨学科团队，深入研究ChatGPT等新技术应用对现有法律规范、伦理道德等带来的冲击，系统梳理潜在风险挑战，及早研究相关风险防范措施。鼓励各方热情参加人工智能安全研发技术、防范体系搭建和治理规则制定等工作，加快布局我们国家的人工智能安全标准、伦理规则的研究。
齐向东表示，人工智能技术被传统犯罪分子用来伪造声音、伪造图像、伪造视频、伪造证据，以假乱真，人们很难去甄别。要解决这些挑战，只有靠技术和它进行对抗。网络安全技术和产品的创新一定能解决AI时代的额外网络安全问题和风险，但人还是最关键的因素。
目前奇安信正在训练专有的类ChatGPT安全大模型，并且在人才教育培训上进行了超前布局，通过“人+机器”的配合来应对未来安全挑战。
有专家建议，有关部门应持续进行AI反诈技术探讨研究，提升防范AI欺诈的技术方法，利用机器学习和数据挖掘、区块链等技术加强对AI应用的监管与审查，及时有效地发现和防范违法行为。
此外，还应提高公众反诈意识与防范AI诈骗能力。中国互联网协会日前也对AI换脸新骗局作出提醒，包括做好个人隐私信息安全第一责任人，加强个人隐私信息保护意识，防止信息泄露；不轻易提供人脸、指纹等个人生物信息给他人等。
互联网协会提醒，在AI时代，文字、声音、图像和视频都可能会是深度合成的，在转账汇款、资金往来这样的典型场景，要通过回拨对方手机号等额外通信方式核实确认，“不要仅凭单一沟通渠道未经核实就直接转账汇款，无论对方是谁”。
治理AI诈骗需要多管齐下。刘权表示，应加强跨部门、跨行业的协同配合，建立联合公安、工信、网信、市场监督管理部门等政府部门，以及电信企业、通讯软件提供商、银行等企业的工作机制，共同监管和维护网络安全。
AI（人工智能）一键换脸、AI克隆声音、AI钓鱼邮件……近日两起诈骗金额上百万元的案件引起人们关注。AI技术加快速度进行发展，挑战也逐渐显现。