S
品質スコア 54Dagentsafelabs.com#business#no-code

Safe Labs AI — AIエージェントのレッドチーミングと評価

Safe Labs AIは、攻撃者より先にAIエージェントの脆弱性を発見するためのオープンソースのレッドチーミングフレームワークです。LangChain、CrewAI、AutoGPT、およびカスタムAIエージェントをサポートします。

公式サイト

このツールについて

Safe Labs AIは、攻撃者より先にAIエージェントの脆弱性を発見するために設計されたオープンソースのレッドチーミングフレームワークです。 AIスタートアップ、セキュリティチーム、ビルダー向けに作られており、LangChain、CrewAI、AutoGPT、およびカスタムAIエージェントをサポートします。

主な機能

  • インストールと接続:pipでインストールし、safelabs-evalを任意のエージェントエンドポイントに向けます。
  • 敵対的プローブ:フレームワークはすべての脅威カテゴリにわたってエージェントを体系的にテストし、すべてのやり取りを記録して応答を自動的に採点します。
  • 脅威カバレッジ:
  • ASI01 プロンプトインジェクション:システムプロンプト、ユーザーコンテキスト、ツール出力を標的とする直接的および間接的なインジェクション攻撃。
  • ASI03 データ漏洩:システムプロンプトの露出、トレーニングデータの抽出、ツール呼び出しによるPII漏洩、セッション間のメモリ汚染を体系的に調査。
  • ASI05 ツール使用の安全性:未承認のツール呼び出し、連鎖したツール呼び出しによる権限昇格、マルチエージェントオーケストレーションパイプラインにおける境界違反をテスト。
  • ASI06–10 行動ドリフトとその他:スコープ違反、長いコンテキストのドリフト、敵対的メモリポイズニング、マルチエージェントの共謀、拡張実行にわたる自律行動境界のテスト。

ユースケース

  • AutoGPTエージェントのレッドチーミング
  • CrewAIエージェントのレッドチーミング
  • LangChainエージェントのレッドチーミング
  • ローンチ前の安全性チェック
  • エンタープライズコンプライアンス監査
利用シーン
  • Red-teaming AutoGPT agents
  • Red-teaming CrewAI agents
  • Red-teaming LangChain agents
  • Pre-launch safety checks
  • Enterprise compliance audits

機能と用途

Install via pip and point at any agent endpointSystematically run adversarial probesAutomatically log interactions and grade responsesCover OWASP ASI threat categoriesSupports LangChain, CrewAI, AutoGPT, and custom agentsOpen-source framework

クイックファクト

セルフホスト対応

情報源

各資料に情報源と最終確認日を記録しています。

類似ツール

Cossistant
cossistant.com
92

Cossistant は、React と Next.js アプリ向けのオープンソースでコードファーストな AI・人間サポートフレームワークです。SaaS チーム、開発者、スタートアップが 10 行未満のコードでサポートチャットウィジェットを追加でき、プログラマブルアクション、カスタム UI、Discord、Stripe、GitHub、Linear との統合を備えています。

有料 · $20+/月

詳細を見る
Spettro
spettro.app
90

Spettro は Go で書かれたターミナルファーストのマルチエージェントコーディングアシスタントで、設定可能なエージェント、ゴールモード、エージェントスキル、承認対応実行、永続セッション、OpenAI 互換のモデルルーティングを備えています。

フリーミアム · 5+/月

詳細を見る
Modelence
modelence.com
88

Modelenceは、AIビルダー、スタートアップ、プロダクトチーム向けのノーコード/ローコードプラットフォームで、管理画面、認証、データ管理を内蔵したAI駆動のWebアプリケーションを構築・リリースできます。

フリーミアム · $9+/月

詳細を見る
ConnectOnion Docs
docs.connectonion.com
86

ConnectOnion は AI エージェント向けのオープンソース Python ツールキットです。`co create` は、shell、ファイル編集、検索、モデル接続が組み込まれた、すぐに動作するプロジェクトを生成し、そこから編集を始められます。OpenAI、Anthropic、Gemini をサポートします。

フリーミアム · $0.60+

詳細を見る