2024年世界互联网大会乌镇峰会在浙江嘉兴乌镇盛大开幕，“人工智能”成为本次大会核心议题，在分论坛设置上，特别增设人工智能板块，与会人员围绕人工智能安全风险与治理、人工智能赋能新质生产力等议题展开讨论。

在网络安全技术发展与国际合作论坛上，中国国家互联网信息办公室副主任王京涛、中国工程院院士吴建平出席并致辞，来自全球网络安全技术领域的政、产、学、研领域的嘉宾，围绕“智能向善，人工智能安全风险与治理”主题，分享人工智能安全最新技术及风险应对。全国政协委员、全国工商联副主席、奇安信集团董事长齐向东在主题演讲中表示，人工智能发挥出什么样的作用，关键还是看使用的人。针对AI黑箱化、黑产化、武器化这三重危机，齐向东提出应通过多维度体系化防护、“鉴伪”“防伪”技术、AI提升安全能力三大策略来化解。

AI“三化”加剧安全危机

齐向东将AI安全危机总结为“三化”，即：黑箱化、黑产化、武器化。

首先是AI黑箱化，导致内容生成良莠不齐。在生成AI大模型的过程中，数据和模型在黑箱内部，现实世界和数字世界之间有一道天然隔阂，这不仅使得我们难以洞悉具体使用了哪些数据集和算法，也模糊了攻击者可能采取的具体破坏手段，从而导致有害内容及错误信息的泛滥。

在今年的实网攻防演练中，奇安信攻击队就成功攻破了某AI大模型，并总结出针对大模型的攻击途径。通过多种手法，篡改了大模型输出内容、让模型出现预料之外或者有害结果，甚至直接瘫痪了大模型。

第二是AI黑产化，导致深度伪造泛滥成灾。不法分子借助AI技术对图像、音视频等内容进行深度伪造，以达到不可告人的目的。无论是公众还是企业，都逃不脱深伪诈骗的陷阱。

三是AI武器化，导致黑客攻击愈演愈烈。人工智能可以生成恶意软件、钓鱼邮件，也可以快速发现目标系统中的漏洞，大幅降低网络攻击门槛，让不懂代码、不懂技术的普通人也能成为黑客，攻击数量大幅增加。目标处于无法应对的饱和状态，网络空间“易攻难守”成常态。

优化AI安全治理的三大必备策略

人工智能正在黑客攻击、社会操纵和战略规划等关键领域飞速取得进展，并带来前所未有的挑战，安全已经来到临界点。齐向东提出，未来强化人工智能安全治理，需要重点采用三大技术策略。

第一个策略是结合大模型基础运行环境、训练环境、API接口以及数据安全进行多维度、体系化防护。大模型生命周期的每个环节都存在大量不确定性，无论是数据安全、算法开发和模型安全、内容还是应用安全等方面，都要做到合规。

奇安信打造的大模型卫士，能解决使用过程中的各种安全问题；今年奇安信又特别设计了一套AI安全整体应对方案，包括AI安全框架，以及基于安全框架下的AI安全解决方案、AI评估服务和安全检测工具等，可以帮助政企机构踏实地向人工智能要生产力。

第二个策略是用“鉴伪”“防伪”技术有效遏制深度伪造。针对正在野蛮生长的生成式伪造语音技术、生成式伪造视频技术，应该尽快发展相关检测技术。

奇安信一直深耕反诈、隐私安全等解决方案，致力于协助公安执法、党政机关、司法机关等部门深挖涉网犯罪线索。奇安信自研的深度鉴伪模型能够准确识别多种前沿AI伪造技术生成的虚假图片视频；洛基平台可以通过内网在线访问，上传图片、视频开展深度鉴伪。

第三个策略是用安全大模型反哺安全能力大提升。建立体系化的安全防护系统，是AI安全大模型驱动安全的重要前提。奇安信的内生安全体系，把网络安全设备和业务流转、不同层次的信息系统有机结合起来，做到安全能力的无死角，确保多道网络安全防线有效协同，实现从宏观管控到微观检测的全面防护

奇安信在内生安全体系之上，部署了自研的QAX-GPT安全大模型，这样不仅让大模型更懂客户业务，同时也让安全体系效率更高、能力更强。经过反复训练打磨，AI安全大模型的研判效率已经提到了人工的60多倍。奇安信还将AI安全大模型赋能NGSOC，形成AISOC，推动安全运营模式从“劳动密集型”向“智慧型”转变，实现了效率的十倍、百倍、千倍提升。同时，奇安信将大模型赋能给天眼、天擎、椒图等安全产品，再依托AISOC进行告警全局关联，实现对网络安全、终端安全、服务器安全的全面掌控，进而帮助分析师自动解读执行各类任务，全天候自动研判告警并甄选出有效威胁、推荐关联分析方法，并全面加速威胁监测调查与响应全流程，高效实现事件处置闭环，让安全防御变得更加主动。

“有了高效的安全治理，AI才有未来。”齐向东表示，奇安信将运用好技术优势，为AI安全治理贡献更多安全厂商的力量，努力为全社会营造更加和谐、更加繁荣的未来。