Holon.liveHOLON OF HOLONS

Prompt Injection是什么 智能体怎样区分资料与指令

中文 · 对照英文

提示注入(Prompt Injection)指输入或外部内容试图改变模型原本应遵循的行为。在智能体能够接触网页、文件和工具时,这个问题不仅影响回答,也可能影响后续行动。

为什么普通资料可能产生冲突

一篇网页可以包含供人阅读的指令句,但它不因此获得对用户任务的控制权。研究系统需要理解网页是在描述什么,而不是将所有命令式文字当作新的授权。

数据与指令需要区分

系统任务来自相应授权主体;检索结果、文件和工具返回首先是待判断的内容。即使材料自称“管理员通知”,也不能仅凭措辞认定其权限。

怎样阅读相关防护声明

OWASP将提示注入作为重要风险主题。具体措施需要结合系统和任务评价,不能因为加了一句提示词就承诺完全解决。这些是公开风险讨论,评价防护效果需要对应实际任务。

理解这些问题时,可以结合Agent身份继续比较相关概念的含义与适用范围。

相关项目探索,可从LingoAI的智能体方向继续了解。

常见问题:只要来源可信就没有提示注入风险吗? 不能这样保证。来源、内容和系统如何使用内容都需要考虑。

公开参考资料: OWASP 提示注入专题。