このツールについて
Safe Labs AIは、攻撃者より先にAIエージェントの脆弱性を発見するために設計されたオープンソースのレッドチーミングフレームワークです。 AIスタートアップ、セキュリティチーム、ビルダー向けに作られており、LangChain、CrewAI、AutoGPT、およびカスタムAIエージェントをサポートします。
主な機能
- インストールと接続:pipでインストールし、safelabs-evalを任意のエージェントエンドポイントに向けます。
- 敵対的プローブ:フレームワークはすべての脅威カテゴリにわたってエージェントを体系的にテストし、すべてのやり取りを記録して応答を自動的に採点します。
- 脅威カバレッジ:
- ASI01 プロンプトインジェクション:システムプロンプト、ユーザーコンテキスト、ツール出力を標的とする直接的および間接的なインジェクション攻撃。
- ASI03 データ漏洩:システムプロンプトの露出、トレーニングデータの抽出、ツール呼び出しによるPII漏洩、セッション間のメモリ汚染を体系的に調査。
- ASI05 ツール使用の安全性:未承認のツール呼び出し、連鎖したツール呼び出しによる権限昇格、マルチエージェントオーケストレーションパイプラインにおける境界違反をテスト。
- ASI06–10 行動ドリフトとその他:スコープ違反、長いコンテキストのドリフト、敵対的メモリポイズニング、マルチエージェントの共謀、拡張実行にわたる自律行動境界のテスト。
ユースケース
- AutoGPTエージェントのレッドチーミング
- CrewAIエージェントのレッドチーミング
- LangChainエージェントのレッドチーミング
- ローンチ前の安全性チェック
- エンタープライズコンプライアンス監査
機能と用途
Install via pip and point at any agent endpointSystematically run adversarial probesAutomatically log interactions and grade responsesCover OWASP ASI threat categoriesSupports LangChain, CrewAI, AutoGPT, and custom agentsOpen-source framework
クイックファクト
セルフホスト対応