이 도구에 대하여
SkillEvaluator는 NVIDIA의 오픈소스 에이전트 평가 프레임워크로, 에이전트 평가 테스트 실행에 사용됩니다. 계층화된 테스트 접근 방식을 제공합니다: 기본적으로 빠른 단위 테스트, 엔드투엔드 통합 테스트, 그리고 인프로세스 Harbor 백엔드에 대한 라이브 테스트. 라이브 평가는 공급자 및 에이전트 자격 증명을 환경 변수에서 읽으며, 리포지토리에서는 읽지 않습니다(NVIDIA Build의 경우 하나의 NVIDIA_API_KEY가 두 역할을 모두 커버합니다). 두 개의 pytest 마커는 기본적으로 제외되므로 느리거나 자격 증명이 필요한 테스트가 일상적인 개발 루프를 방해하지 않습니다. 이 도구는 데이터 센터 운영자, 피지컬 AI 개발자, AI 개발자를 대상으로 하며 Linux에서 실행됩니다.
기능 및 사용 사례
Tiered testing: fast unit tests, integration tests, live testsSlow and credentialed tests excluded by defaultCredentials read from environment, not the repoSupports NVIDIA_API_KEY for unified credentialsOpen source
핵심 사실
공개 API 제공
셀프 호스팅 지원