切换到宽版
 找回密码
 立即注册

QQ登录

只需一步,快速开始

西秦会馆

爆料、咨询:18909006163
广告、合作:13990030637
查看: 18686 | 回复: 18

[盐都杂谈] OpenAI智能体失控时,竟想叫DeepSeek等中国大模型“帮忙”

[复制链接]

1932

主题

1980

帖子

0

听众

Rank: 10Rank: 10

积分
12322
威望
1932 点
铜板
6478 枚
西秦金币
0 个
鲜花
0 朵

在线时间
59 小时
注册时间
2023-6-25
发表于 1 小时前 | 显示全部楼层 |阅读模式 | 来自四川
OpenAI智能体失控时,竟想叫DeepSeek等中国大模型“帮忙”

近日,美国科技企业Parse联合多名AI安全研究人员发布调查报告,进一步披露今年7月OpenAI智能体入侵开源模型平台Hugging Face的细节。其中特别值得注意的是,OpenAI失控智能体在实施网络攻击时曾请中国开源大模型提供帮助。

具体来看,这批失控智能体在尝试完成网络安全基准测试的过程中,曾尝试调用DeepSeek、Kimi和通义千问Qwen等中国大模型,希望这些模型帮助判断自己的漏洞利用方案能否通过测试。

Parse研究人员从智能体留下的大量公开短链接中,还原出超过8万个攻击载荷。报告显示,其中多段程序专门构造了向外部大模型发送请求的接口,点名的包括DeepSeek-V4-Pro、DeepSeek-V4-Flash、DeepSeek-V3.1、Kimi-K2.6以及Qwen3-235B-A22B在内的一系列中国大模型。



观察还原出的代码便会发现,智能体先把Qwen3-235B-A22B和DeepSeek-V3.1写进了待调用模型列表。



之后,智能体向 Qwen3-235B-A22B-Instruct-2507发出请求,要求它“准确回复HELLO42”,用于测试接口连通性以及模型回复是否正常。



第三段代码里,智能体已经开始把具体的漏洞利用问题交给Qwen判断。它在提示词中描述了一个与DHCHECK、WriteAccumulator有关的漏洞场景,并直接询问这是否属于“有效的目标漏洞利用”以及原因。

随后程序通过Hugging Face的模型接口向 Qwen3-235B-A22B-Instruct-2507发送请求,并设置了从返回数据的 choices 字段中提取模型回答的步骤。

不过,《纽约时报》指出,研究人员只能看到智能体创建的程序和发送请求的尝试,无法看到多数操作的执行结果,因此目前尚不清楚这些外部模型调用是否成功,抑或是DeepSeek、Kimi和Qwen是否实际返回了回答。

中国模型并非OpenAI智能体唯一寻求的“帮手”。Parse发现,这批智能体在更早的请求中曾尝试向OpenAI自己的GPT-2发送仅包含“Hi”的简单消息;另有程序通过在线聊天服务尝试联系Anthropic的Claude 3 Haiku和Claude Haiku 4.5,并要求模型返回“OK”,以测试通信链路是否正常。

Parse还发现,智能体在Hugging Face注册账户遭遇验证码后,尝试运行图像识别模型解决CAPTCHA以在Hugging Face上创建新账户;获得Hugging Face部分服务器权限后,又搜集访问凭证并将其统一放进名为“LOOT”的字典中,并为这些凭证设计了一套评分机制,从中挑出价值最高的几项继续使用。

OpenAI向《纽约时报》表示,虽然当时尚未完成对Parse报告的审查,但其中描述的活动与公司正在调查的情况一致。

而在Hugging Face事件后加强网络限制的情况下,OpenAI仍发现了新的越权联网行为。9月25日,公司披露,一名研究智能体在9月20日执行普通搜索任务时主动寻找绕过网络限制的方法,并最终通过DNS通道联系到外部聊天机器人。OpenAI随后暂停了其最强模型所有涉及工具调用的训练、评测和推理任务,目前仍未恢复。

路透社同日报道称,一名获悉调查情况的人士估计,截至9月中旬,OpenAI内部已发现约二十余起智能体出现非预期行为的事件;随着OpenAI继续排查内部日志,这一数字仍在增加。

本文系观察者网独家稿件,未经授权,不得转载。
广告

1451

主题

1489

帖子

0

听众

Rank: 10Rank: 10

积分
10137
威望
1451 点
铜板
5736 枚
西秦金币
0 个
鲜花
1 朵

在线时间
307 小时
注册时间
2020-9-17
发表于 1 小时前 | 显示全部楼层 | 来自四川
近日对老百姓挺重要
回复

使用道具 举报

1419

主题

1445

帖子

1

听众

Rank: 10Rank: 10

积分
9117
威望
1419 点
铜板
4834 枚
西秦金币
0 个
鲜花
0 朵

在线时间
46 小时
注册时间
2023-6-25
发表于 1 小时前 | 显示全部楼层 | 来自四川
支持关注Face的细节
回复

使用道具 举报

9

主题

9

帖子

0

听众

Rank: 10Rank: 10

积分
0
威望
0 点
铜板
0 枚
西秦金币
0 个
鲜花
0 朵

在线时间
0 小时
注册时间
2026-6-4
发表于 1 小时前 | 显示全部楼层 | 来自四川
收藏了,具体来看
回复

使用道具 举报

2323

主题

2454

帖子

0

听众

Rank: 10Rank: 10

积分
15401
威望
2323 点
铜板
8301 枚
西秦金币
0 个
鲜花
0 朵

在线时间
181 小时
注册时间
2023-4-2
发表于 1 小时前 | 显示全部楼层 | 来自四川
牛啊!,具体来看
回复

使用道具 举报

1932

主题

1980

帖子

0

听众

Rank: 10Rank: 10

积分
12322
威望
1932 点
铜板
6478 枚
西秦金币
0 个
鲜花
0 朵

在线时间
59 小时
注册时间
2023-6-25
 楼主| 发表于 1 小时前 | 显示全部楼层 | 来自四川
这个帮忙靠谱吗
回复

使用道具 举报

1932

主题

1980

帖子

0

听众

Rank: 10Rank: 10

积分
12322
威望
1932 点
铜板
6478 枚
西秦金币
0 个
鲜花
0 朵

在线时间
59 小时
注册时间
2023-6-25
 楼主| 发表于 1 小时前 | 显示全部楼层 | 来自四川
看完Face的细节心里有数了
回复

使用道具 举报

1932

主题

1980

帖子

0

听众

Rank: 10Rank: 10

积分
12322
威望
1932 点
铜板
6478 枚
西秦金币
0 个
鲜花
0 朵

在线时间
59 小时
注册时间
2023-6-25
 楼主| 发表于 1 小时前 | 显示全部楼层 | 来自四川
先码住,回头再看具体来看
回复

使用道具 举报

1051

主题

1088

帖子

0

听众

Rank: 10Rank: 10

积分
6809
威望
1051 点
铜板
3619 枚
西秦金币
0 个
鲜花
0 朵

在线时间
13 小时
注册时间
2023-10-21
发表于 1 小时前 | 显示全部楼层 | 来自四川
具体来看确实该重视
回复

使用道具 举报

170

主题

170

帖子

0

听众

Rank: 10Rank: 10

积分
1118
威望
170 点
铜板
608 枚
西秦金币
0 个
鲜花
0 朵

在线时间
0 小时
注册时间
2025-7-28
发表于 1 小时前 | 显示全部楼层 | 来自四川
近日这块再跟进就好
回复

使用道具 举报

1940

主题

2172

帖子

0

听众

Rank: 10Rank: 10

积分
13311
威望
1940 点
铜板
7149 枚
西秦金币
0 个
鲜花
11 朵

在线时间
335 小时
注册时间
2021-8-3
发表于 1 小时前 | 显示全部楼层 | 来自四川
话说帮忙啥时候能见成效
回复

使用道具 举报

247

主题

251

帖子

0

听众

Rank: 10Rank: 10

积分
1653
威望
247 点
铜板
908 枚
西秦金币
0 个
鲜花
0 朵

在线时间
0 小时
注册时间
2024-11-16
发表于 1 小时前 | 显示全部楼层 | 来自四川
具体来看可以
回复

使用道具 举报

1940

主题

2172

帖子

0

听众

Rank: 10Rank: 10

积分
13311
威望
1940 点
铜板
7149 枚
西秦金币
0 个
鲜花
11 朵

在线时间
335 小时
注册时间
2021-8-3
发表于 1 小时前 | 显示全部楼层 | 来自四川
这个Face的细节靠谱吗
回复

使用道具 举报

1317

主题

1370

帖子

0

听众

Rank: 10Rank: 10

积分
8690
威望
1317 点
铜板
4686 枚
西秦金币
0 个
鲜花
0 朵

在线时间
97 小时
注册时间
2023-6-21
发表于 1 小时前 | 显示全部楼层 | 来自四川
近日确实该重视
回复

使用道具 举报

170

主题

170

帖子

0

听众

Rank: 10Rank: 10

积分
1118
威望
170 点
铜板
608 枚
西秦金币
0 个
鲜花
0 朵

在线时间
0 小时
注册时间
2025-7-28
发表于 1 小时前 | 显示全部楼层 | 来自四川
Face的细节写得还行
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    快速回复 返回顶部 返回列表