安全与风险,已成为中新人工智能治理交流的议题之一!
#网安头条 ·2026-11-19 16:18:09
近日,中国网信办与新加坡资信局,在北京举行了中国—新加坡人工智能治理交流会。会议期间,安全与风险已成为双方人工智能治理交流的议题之一,并为就进一步深化人工智能治理领域合作达成共识。
这场会议释放了一个值得关注的信号,人工智能的发展已经不再只是技术能力和产业规模的竞争,如何管理技术风险、建立安全规则、推动国际协作,正在成为各国共同面对的重要课题。尤其是在生成式人工智能快速普及、AI智能体逐步具备自主执行任务能力的背景下,安全治理已经从技术发展的辅助环节,走向了人工智能产业发展的重要位置。

过去几年,人工智能的发展速度超出了很多人的预期。从最初的文本生成、图像创作,到如今能够编写代码、分析数据、调用工具,甚至独立完成多步骤任务,AI正在进入越来越多的行业和业务场景。
其中,技术进步带来的价值非常直接,企业可以利用AI提高工作效率,开发人员能够借助智能工具缩短研发周期,普通用户也可以通过人工智能获得过去需要专业人员才能提供的服务。但问题也随之出现,AI能力越强,能够产生的影响就越大,一旦出现错误,造成的后果也可能超出使用者的预期。

例如,AI生成的虚假信息可能被用于网络诈骗和舆论操纵,训练数据中的偏差可能影响系统判断,用户上传的个人信息可能面临泄露风险,而具备自主执行能力的AI智能体,如果获得了过多系统权限,还可能在错误指令或恶意诱导下执行不应该执行的操作。
这些问题已经不是简单的技术故障,而是涉及数据安全、网络安全、个人权益和社会公共利益的综合性风险。
因此,中新双方把人工智能安全与风险列为此次交流的重要议题,并不意外。人工智能要真正进入社会生产和公共服务体系,不能只看它能完成多少任务,还要看它能否在明确的边界内运行,能否被有效监督,以及出现问题后是否能及时的追溯和处置。
值得注意的是,当前人工智能安全面临的挑战,已经不局限于模型是否存在漏洞。
在传统网络安全领域,人们通常关注系统漏洞、恶意代码、身份认证、数据泄露和网络攻击等问题。而在人工智能环境下,攻击者可能通过提示词注入、训练数据投毒、模型越权调用、敏感信息诱导提取等方式,影响AI系统的正常运行。
尤其是AI智能体的发展,让安全边界变得更加复杂。过去,用户向AI提问,系统主要负责生成答案,即使出现错误,影响通常也停留在信息层面。但现在,一些AI智能体已经能够访问文件、调用接口、执行代码、操作业务系统。如果权限管理不严格,或者缺少必要的人工确认机制,原本只是一个错误判断,就有可能转化为真实的业务操作风险。
例如,一家企业部署了能够自动处理文件和业务数据的AI智能体,如果没有做好权限隔离,攻击者就可能利用恶意内容诱导智能体读取不该访问的文件,甚至通过工具调用完成未经授权的操作。
这也意味着,未来的AI安全不能仅仅依靠模型开发阶段的测试,还需要覆盖数据采集、模型训练、系统部署、权限配置、运行监测和事件响应等环节。
新加坡方面近年来也在积极推进相关工作,其资讯通信媒体发展局持续推动AI治理框架建设,并围绕AI智能体治理、模型测试和风险评估开展实践。新加坡政府此前还提出,应根据系统能够访问的数据、拥有的权限以及潜在危害程度,设置相应的安全措施。

这类治理思路就是不能把所有AI应用都按照同一套标准管理,而应该根据实际风险确定安全要求。能够查询公开资料的普通AI工具,与能够访问企业核心数据库、执行金融交易的智能体,显然不应该拥有相同的权限和管理要求。
中新交流的价值,不只是分享经验,更是推动治理规则逐步衔接!
人工智能具有很强的跨境属性,模型开发可能发生在一个国家,数据处理可能涉及多个地区,最终应用又可能服务于不同国家的用户。
这种特点决定了人工智能安全很难完全依靠单个国家解决。例如,跨境数据流动涉及不同地区的法律和监管要求,AI生成内容可能在多个国家和地区传播,模型安全漏洞也可能影响全球用户。如果各国在风险识别、技术评估和事件处置方面缺少沟通,就容易出现监管标准不一致、风险信息不对称等问题。
中国与新加坡在数字经济、人工智能应用和国际合作方面具有较多共同关注点。此次会议将治理政策、标准实践和国际合作放在一起讨论,实际上也体现出双方希望通过交流推动人工智能治理经验互通的积极态度。
当然,治理合作并不意味着不同国家必须采用完全相同的监管制度。各国的产业结构、法律环境和技术发展阶段存在差异,治理方式也需要结合实际情况。真正有价值的合作,是在尊重各自制度和发展需求的基础上,逐步形成能够相互理解、相互参考的安全标准和实践经验。
从这个角度来看,此次中新人工智能治理交流不仅是一次政策层面的沟通,也为今后在AI安全评估、风险预警、技术标准和国际协作等方面深化合作提供了基础。