S
Safe Labs AI — Red-Teaming und Evaluierung für KI-Agenten
Safe Labs AI ist ein Open-Source-Red-Teaming-Framework, um Schwachstellen in KI-Agenten zu finden, bevor Angreifer dies tun. Es unterstützt LangChain, CrewAI, AutoGPT und benutzerdefinierte KI-Agenten.
Über dieses Tool
Safe Labs AI ist ein Open-Source-Red-Teaming-Framework, das entwickelt wurde, um Schwachstellen in Ihren KI-Agenten zu finden, bevor Angreifer dies tun. Es richtet sich an KI-Startups, Sicherheitsteams und Entwickler und unterstützt LangChain, CrewAI, AutoGPT sowie benutzerdefinierte KI-Agenten.
Hauptfunktionen
- Installation und Verbindung: Installation per pip und Ausrichtung von safelabs-eval auf einen beliebigen Agenten-Endpunkt.
- Adversarielle Sonden: Das Framework testet Ihren Agenten systematisch über alle Bedrohungskategorien hinweg, protokolliert jede Interaktion und bewertet Antworten automatisch.
- Bedrohungsabdeckung:
- ASI01 Prompt-Injection: Direkte und indirekte Injection-Angriffe auf System-Prompts, Benutzerkontext und Tool-Ausgaben.
- ASI03 Datenlecks: Systematische Prüfung auf Offenlegung von System-Prompts, Extraktion von Trainingsdaten, PII-Lecks durch Tool-Aufrufe und sitzungsübergreifende Speicherkontamination.
- ASI05 Sicherheit bei der Tool-Nutzung: Tests auf unbefugte Tool-Aufrufe, Rechteausweitung durch verkettete Tool-Aufrufe und Grenzverletzungen in Multi-Agenten-Orchestrierungspipelines.
- ASI06–10 Verhaltensdrift und mehr: Bereichsverletzungen, Langkontext-Drift, adversarielles Memory-Poisoning, Multi-Agenten-Kollusion und Tests der autonomen Handlungsgrenzen über längere Läufe.
Anwendungsfälle
- Red-Teaming von AutoGPT-Agenten
- Red-Teaming von CrewAI-Agenten
- Red-Teaming von LangChain-Agenten
- Sicherheitsprüfungen vor dem Start
- Unternehmens-Compliance-Audits
Funktionen & Anwendungsfälle
Install via pip and point at any agent endpointSystematically run adversarial probesAutomatically log interactions and grade responsesCover OWASP ASI threat categoriesSupports LangChain, CrewAI, AutoGPT, and custom agentsOpen-source framework
Kurzinfos
Self-Hosting möglich