S
Safe Labs AI — Red-Teaming et évaluation des agents IA
Safe Labs AI est un framework open source de red-teaming pour trouver les vulnérabilités des agents IA avant les attaquants. Il prend en charge LangChain, CrewAI, AutoGPT et les agents IA personnalisés.
À propos de cet outil
Safe Labs AI est un framework open source de red-teaming conçu pour vous aider à trouver les vulnérabilités de vos agents IA avant les attaquants. Il est destiné aux startups d'IA, aux équipes de sécurité et aux développeurs, et prend en charge LangChain, CrewAI, AutoGPT ainsi que les agents IA personnalisés.
Capacités principales
- Installation et connexion : Installation via pip et pointage de safelabs-eval vers n'importe quel point de terminaison d'agent.
- Sondes adverses : Le framework teste systématiquement votre agent sur toutes les catégories de menaces, en journalisant chaque interaction et en notant automatiquement les réponses.
- Couverture des menaces :
- ASI01 Injection de prompt : Attaques par injection directe et indirecte ciblant les prompts système, le contexte utilisateur et les sorties d'outils.
- ASI03 Fuite de données : Sondage systématique pour l'exposition des prompts système, l'extraction de données d'entraînement, la fuite de PII via les appels d'outils et la contamination de la mémoire entre sessions.
- ASI05 Sécurité d'utilisation des outils : Tests pour les invocations d'outils non autorisées, l'escalade de privilèges via des appels d'outils en chaîne et les violations de limites dans les pipelines d'orchestration multi-agents.
- ASI06–10 Dérive comportementale et plus : Violations de périmètre, dérive de contexte long, empoisonnement de mémoire adversarial, collusion multi-agents et tests des limites d'action autonome sur des exécutions prolongées.
Cas d'usage
- Red-teaming d'agents AutoGPT
- Red-teaming d'agents CrewAI
- Red-teaming d'agents LangChain
- Contrôles de sécurité avant lancement
- Audits de conformité en entreprise
Fonctions et usages
Install via pip and point at any agent endpointSystematically run adversarial probesAutomatically log interactions and grade responsesCover OWASP ASI threat categoriesSupports LangChain, CrewAI, AutoGPT, and custom agentsOpen-source framework
Faits rapides
Auto-hébergement possible