關於這個工具
Safe Labs AI 是一個開源紅隊測試框架,旨在幫助你在攻擊者之前發現 AI 代理中的漏洞。 它面向 AI 初創公司、安全團隊和構建者,支援 LangChain、CrewAI、AutoGPT 以及自訂 AI 代理。
主要能力
- 安裝與接入:透過 pip 安裝,並將 safelabs-eval 指向任意代理端點。
- 對抗性探測:框架會系統性地針對所有威脅類別測試你的代理,記錄每次互動並自動對回應進行評分。
- 威脅覆蓋:
- ASI01 提示注入:針對系統提示、使用者上下文和工具輸出的直接與間接注入攻擊。
- ASI03 資料洩露:系統性探測系統提示暴露、訓練資料提取、透過工具呼叫導致的 PII 洩露,以及跨工作階段記憶污染。
- ASI05 工具使用安全:測試未授權的工具呼叫、透過鏈式工具呼叫進行的權限提升,以及多代理編排管道中的邊界違規。
- ASI06–10 行為漂移及其他:範圍違規、長上下文漂移、對抗性記憶投毒、多代理串通,以及長時間運行中的自主行動邊界測試。
使用場景
- 對 AutoGPT 代理進行紅隊測試
- 對 CrewAI 代理進行紅隊測試
- 對 LangChain 代理進行紅隊測試
- 上線前安全檢查
- 企業合規審計
功能與使用情境
透過 pip 安裝並指向任意代理端點系統性地執行對抗性探測自動記錄互動並評分回應覆蓋 OWASP ASI 威脅類別支援 LangChain、CrewAI、AutoGPT 和自訂代理開源框架
快速事實
支援自架