이 도구에 대하여
Safe Labs AI는 공격자보다 먼저 AI 에이전트의 취약점을 찾기 위해 설계된 오픈소스 레드팀 프레임워크입니다. AI 스타트업, 보안 팀, 빌더를 위해 만들어졌으며 LangChain, CrewAI, AutoGPT 및 사용자 정의 AI 에이전트를 지원합니다.
주요 기능
- 설치 및 연결: pip로 설치하고 safelabs-eval을 모든 에이전트 엔드포인트로 지정합니다.
- 적대적 프로브: 프레임워크는 모든 위협 범주에 걸쳐 에이전트를 체계적으로 테스트하고 모든 상호작용을 기록하며 응답을 자동으로 채점합니다.
- 위협 범위:
- ASI01 프롬프트 인젝션: 시스템 프롬프트, 사용자 컨텍스트, 도구 출력을 대상으로 하는 직접 및 간접 인젝션 공격.
- ASI03 데이터 유출: 시스템 프롬프트 노출, 학습 데이터 추출, 도구 호출을 통한 PII 유출, 세션 간 메모리 오염을 체계적으로 탐지.
- ASI05 도구 사용 안전성: 무단 도구 호출, 연쇄 도구 호출을 통한 권한 상승, 다중 에이전트 오케스트레이션 파이프라인의 경계 위반 테스트.
- ASI06–10 행동 드리프트 및 기타: 범위 위반, 장문 컨텍스트 드리프트, 적대적 메모리 포이즈닝, 다중 에이전트 공모, 확장 실행 전반의 자율 행동 경계 테스트.
사용 사례
- AutoGPT 에이전트 레드팀
- CrewAI 에이전트 레드팀
- LangChain 에이전트 레드팀
- 출시 전 안전 점검
- 엔터프라이즈 규정 준수 감사
기능 및 사용 사례
Install via pip and point at any agent endpointSystematically run adversarial probesAutomatically log interactions and grade responsesCover OWASP ASI threat categoriesSupports LangChain, CrewAI, AutoGPT, and custom agentsOpen-source framework
핵심 사실
셀프 호스팅 지원