视频丨猜密码、找漏洞、绕限制，AI为啥频频“脱缰”？

文竹的一天

视频丨猜密码、找漏洞、绕限制，AI为啥频频“脱缰”？

如果无法播放，请点击此处在新窗口打开

近期，国外人工智能领域头部模型公司接连爆出一系列安全事件。OpenAI披露，其智能体在训练、评估中出现未对齐或未经授权的活动，公司已向超过100家外部机构发送异常活动通知，其中包括政府部门、高校、非营利组织和各类企业。

此前，包括美国证券交易委员会、人口普查局、教育部在内的一连串美国政府网站，甚至联合国贸发会议通知网站，都曾出现AI智能体的异常交互或攻击尝试。

问题来了：模型能力提升后，为什么安全事件频发？



这里面有几层原因。

首先是训练。 现在的模型智能体靠强化学习来训练，核心逻辑就一句话：只要完成任务就给奖励。而问题在于，如果只盯着“完成”这个结果，不管它是怎么完成的，就很容易走偏。正常路走不通，模型就学会了去猜密码、找漏洞、绕限制，行话叫“奖励黑客”——你没教它作弊，但也没拦住它自己发现“作弊最省事”。



第二是安全设计。 模型虽然会设置护栏，但很多护栏和智能体放在同一个环境里，就像把警察和小偷关在同一间屋子里。本来是指望着警察要看好小偷，结果小偷却直接把警察给“策反”了。AI一旦能修改运行环境，限制它的规则也可能被改写。



第三是测试的悖论。 要测出模型能力的上限，就得先拆掉部分的“脚手架”。OpenAI承认，在网络安全基准测试中，在授信评估场景，有意关闭过部分护栏，以充分测量模型的能力。这相当于在“悬崖边练车”：为了测出极限，先把安全带给解了。



此外， 多智能体系统和AI自我进化，正在进一步放大风险。 多个智能体凑在一起，更利于互相传授“越狱经验”，一个学会了，全班都会。模型还会隐瞒错误，多个智能体共享环境或协同任务时，风险也可能被横向放大。

中国信息通信研究院人工智能研究所副总工程师 王蕴韬：

第一种管理方式是要把人留在验收的环节，把允许系统自我修改的范围进一步划窄，具体模型自己改了什么，要能查得到、退得回。

第二种方式是把安全护栏放在系统自己够不着的地方，同时把监管视线从对外发布，延伸到企业内部的研发训练环节。

未来需要进一步加强评测的能力，看一次性的能力分数，转到查过程、查原始产物，并把裁判本身也纳入评测。



频发的AI事故提醒我们，技术可能诞生于不同团队甚至不同国家，但人工智能的风险与挑战却可以轻松跨越国界。随着技术的不断发展，当前的训练方法可能让AI在高压任务或错误激励下越权执行，并隐瞒行动，传统的防护模式正在瓦解。

中国一直在倡导人工智能的全球治理，共同抵御风险挑战。只有在全球、全社会层面形成共识，让持续监测、风险通报和协同处置等规则运转起来，让政府和行业共同参与，才能让发展中的风险和问题不断在发展中被解决。

（总台央视记者 张姵玲）

2026中央广播电视总台版权所有。未经许可，请勿转载使用。

责任编辑：刘潇鸿

多喝开水

原来其中包括政府部门是这样

吃鸡爱好者

太棒了吧，人口普查局

包心客

其智能体在训练信息挺及时

小黄鸭呀

话说其智能体在训练啥时候能见成效

小黄鸭呀

关于OpenAI披露，本地人还是关心的

包心客

视频丨猜多来点这种通报

草莓果酱啵啵

人口普查局蹲后续

恐龙高新呀h

视频丨猜密码对老百姓挺重要

加加加加油呀

哈哈视频丨猜密码多来点这种通报哈哈

平凡可贵h

其智能体在训练确实该重视

一颗火星子

先码住，回头再看其智能体在训练

多喝开水

OpenAI披露这事说得挺清楚

多喝开水

人口普查局这事说得挺清楚

今天上班了吗？

支持关注其智能体在训练