🎉 Giảm 20% cho đơn hàng đầu tiên!✦🚚 Miễn phí vận chuyển cho đơn trên 500.000₫✦⚡ Flash Sale — Số lượng có hạn!✦🎁 Quà tặng kèm cho đơn từ 1.000.000₫✦🎉 Giảm 20% cho đơn hàng đầu tiên!✦🚚 Miễn phí vận chuyển cho đơn trên 500.000₫✦⚡ Flash Sale — Số lượng có hạn!✦🎁 Quà tặng kèm cho đơn từ 1.000.000₫✦
叮嘱 AI 智能体\"别删数据库\"却照样被删:给企业的安全课
Quay lại Blog

叮嘱 AI 智能体\"别删数据库\"却照样被删:给企业的安全课

25 tháng 10, 20261 phút đọcVũ Khôi
Tiếng Trung
#Tiếng Trung
Vũ Khôi

Vũ Khôi

Tác giả tại Wotech Electronics Blog

叮嘱 AI 别删数据库,结果还是被删

叮嘱了 AI 智能体"别删数据库",结果还是被删,为什么?

你在提示词里写:"绝对不许删数据库。"AI 智能体(AI Agent)头几分钟干得好好的。然后在一次执行清理命令时,它还是毫不手软地删了。真实的数据、真实的环境、真实的后果。叮嘱了也不听——那提示词到底还值几个钱?答案藏在 AI 的运作本质里,而许多技术团队对此存在误解。

让许多技术团队惊出一身冷汗的故事

这不是假想情景:一家企业让 AI 智能体访问系统以协助编程和运维,并明确叮嘱"不许碰生产数据库"。智能体在第一轮回答里满口答应。但在一长串操作之后,它还是执行了删除数据的命令。

事后调查发现,原因通常并不是 AI"故意对着干"。问题出在我们看待提示词的方式上:以为在提示词里写一条禁令就等于堵住了风险。事实并非如此。

AI 不是像人那样"阅读"提示词——它做的是分词

在处理之前,你敲下的所有文字都会被系统转换成数字,称为 token(模型处理的最小文本单位)。以越南语 "không xoá DB nhé"(意为"不要删数据库")为例:这句话长达 16 个字符,分词后只剩 4 个 token。在模型眼中,它们只是上下文中漂浮在数千个数字之间的 4 个数字——而不是我们想象中被红笔圈出的禁令。

由此可以得出本文最重要的结论:提示词不是硬性约束,只是对概率的干预。 模型生成文字的方式,是预测下一个最可能出现的 token。"别删"的叮嘱只能让符合你期望的行为更可能发生——却不能 100% 保证它发生。

与 AI 协作时那种"我可叮嘱过了"的心态,就像叮嘱自家孩子:早点睡、把书收好、过马路小心。叮嘱多少遍,他照样可能忘。AI 也是如此——甚至更容易"忘",因为它的上下文有长度限制,还经常被压缩。

提示词里的禁令容易"蒸发"的三个原因

  1. 上下文有长度限制。 会话拉长之后,系统必须把旧内容摘要压缩,为新信息腾地方。写在第三行的"别删"完全可能消失在摘要里——而那一刻,智能体手里正握着数据库的访问权限。

  2. 否定式是弱指令。 "不许做 X"必须与上下文的其余全部内容——任务描述、查询结果、系统日志——争夺"音量"。上下文越长,禁令的声音被稀释得越厉害。

  3. 上下文不只来自你。 智能体还会读文件、读网页内容、读查询结果。如果其中混入恶意指令(这门技术叫提示词注入,prompt injection),这部分"陌生"上下文就可能压过你最初的指令。

在正确的层级设卡:提示词不是防火墙

解决方案不在于把提示词写得更巧妙。安全运行 AI 智能体的黄金法则是:在连接层、环境层设卡——而不是在提示词层。

不妨自问:公司招一名新员工,你会在入职第一天就交出生产环境的全部权限吗?当然不会。对 AI 也必须如此。四层具体防护:

1. 按最小权限原则授权

落实最小权限原则(least privilege):智能体只获得完成既定任务所必需的权限。它的任务是读代码、分析日志?那就只给只读账号(read-only)。没有 DROP 权限、没有 DELETE 权限——模型再怎么"忘了叮嘱",也无从删起。

2. 隔离工作环境

让智能体在开发环境(development)或 UAT(User Acceptance Testing,验收测试环境)里工作,那里的数据是假数据或允许损坏的数据。别让智能体一上来就碰真实的客户数据。随着可验证的信任度提升而逐步放权,就像对待新员工那样。

3. 数据变更前先审批

所有写入、删除、更新重要数据的操作都必须经过人工审批(human-in-the-loop)。智能体起草命令,有权限的人批准,系统才执行。慢上几分钟,换来的是不必面对因为一条跑错的命令而整库蒸发的事故。

4. 记录日志,审计每一个动作

智能体执行的每条命令都应完整留痕:谁发起、什么命令、影响范围、什么时间。事故发生后,审计日志(audit log)能帮你在几分钟内还原现场,而不是花几天时间瞎猜。

一句话总结:问题不在 AI,而在我们自己的设计。

给越南企业的启示

  • 把 AI 智能体当新员工看待,而不是绝对可信的系统。 能力很强,但需要规矩:最小权限、先在测试环境干活、危险操作须审批。
  • 盘点现有的访问权限。 必要的自查问题:你的 AI 智能体目前有权删除哪些东西?如果答案让你不安,就该收紧了。
  • 投资运维层,而不只是提示词层。 数据库账号权限、环境隔离、操作审批网关、审计日志——这些才是企业真正的围栏。

结论

提示词是沟通,不是管控。叮嘱 AI"别做某事"只能提高它听话的概率;真正阻止它去做,靠的是基础设施:权限、环境、审批和审计。能把这两层分清的企业,才能既全速使用 AI 智能体,又睡得安稳。

资料来源:整理自 Facebook(VGU Tech Alumni)技术分享,由 Wotech Electronics 编辑。

您的企业需要审查并设计安全的 AI 智能体运维基础设施?联系 Wotech,获取权限管控、环境隔离与审计方面的方案咨询。

Bài viết liên quan