AI 应用把自然语言变成了新的输入界面,但这不代表输入天然可信。外部文档、网页、用户消息和工具结果都可能包含敏感数据或恶意指令。
QUICK CHECK
开始前,先完成这 4 项检查
01
识别并脱敏个人信息、密钥和商业数据。
02
把外部内容视为不可信输入。
03
为工具调用设置最小权限与确认点。
04
记录关键操作,但避免日志再次泄露数据。
SECTION 01
建立清晰的数据边界
团队应明确哪些数据可以进入模型、由谁访问、保留多久以及如何删除。不要把生产密钥、完整客户资料或未授权文档直接放入提示词。
SECTION 02
防范提示注入与越权工具调用
检索到的文档和网页可能夹带要求模型忽略规则的文本。系统应把数据与指令分层,校验工具参数,并在写入或发布前重新检查授权。
- 输入来源标记
- 工具参数白名单
- 敏感操作二次确认
- 输出内容安全检查
FAQ
常见问题
删除聊天记录就等于删除所有日志吗?+
不一定。应用、网关和监控系统可能各自保存日志,应按完整数据流确认。
提示注入只能来自用户消息吗?+
不是。网页、文件、邮件和工具返回内容都可能成为注入来源。
继续建立完整知识体系
查看全部专题 ↗从相关专题继续深入学习
按模型、数据、工作流、评估和安全逐步扩展自己的 AI 工程方法。