关于这个工具
Safe Labs AI 是一个开源红队测试框架,旨在帮助你在攻击者之前发现 AI 智能体中的漏洞。 它面向 AI 初创公司、安全团队和构建者,支持 LangChain、CrewAI、AutoGPT 以及自定义 AI 智能体。
主要能力
- 安装与接入:通过 pip 安装,并将 safelabs-eval 指向任意智能体端点。
- 对抗性探测:框架会系统性地针对所有威胁类别测试你的智能体,记录每次交互并自动对响应进行评分。
- 威胁覆盖:
- ASI01 提示注入:针对系统提示、用户上下文和工具输出的直接与间接注入攻击。
- ASI03 数据泄露:系统性探测系统提示暴露、训练数据提取、通过工具调用导致的 PII 泄露,以及跨会话记忆污染。
- ASI05 工具使用安全:测试未授权的工具调用、通过链式工具调用进行的权限提升,以及多智能体编排管道中的边界违规。
- ASI06–10 行为漂移及其他:范围违规、长上下文漂移、对抗性记忆投毒、多智能体串通,以及长时间运行中的自主行动边界测试。
使用场景
- 对 AutoGPT 智能体进行红队测试
- 对 CrewAI 智能体进行红队测试
- 对 LangChain 智能体进行红队测试
- 上线前安全检查
- 企业合规审计
功能与使用场景
通过 pip 安装并指向任意智能体端点系统性地运行对抗性探测自动记录交互并评分响应覆盖 OWASP ASI 威胁类别支持 LangChain、CrewAI、AutoGPT 和自定义智能体开源框架
快速事实
支持自托管