简介

提示黑客是一个术语，用来描述一种利用LLM的漏洞进行攻击的类型，通过操纵其输入或提示。与通常利用软件漏洞的传统黑客攻击不同，提示黑客攻击依赖于精心制作的提示来欺骗LLM执行意外操作。

我们将涵盖三种类型的提示攻击：提示注入、提示泄漏和越狱。提示注入是指向提示中添加恶意或意外内容，以劫持语言模型的输出。提示泄漏和越狱实际上是这个过程的子集：提示泄漏涉及从语言模型的回应中提取敏感或机密信息，而越狱则是绕过安全和审查功能。我们还将讨论具体的攻击技术以及防御技术。

为了防止提示黑客攻击，必须采取防御措施。这些措施包括实施基于提示的防御措施，定期监控LLM的行为和输出，以寻找异常活动，并使用微调或其他技术。总体而言，提示黑客攻击对LLM的安全构成了日益严重的威胁，因此保持警惕并采取积极措施来防范此类攻击至关重要。