SkillEvaluator
SkillEvaluator ist NVIDIAs Open-Source-Agenten-Evaluierungsframework zum Ausführen von Agenten-Evaluierungstests, das schnelle Unit-Tests, End-to-End-Integrationstests und Live-Evaluierung unterstützt.
Über dieses Tool
SkillEvaluator ist NVIDIAs Open-Source-Agenten-Evaluierungsframework zum Ausführen von Agenten-Evaluierungstests. Es bietet einen gestaffelten Testansatz: standardmäßig schnelle Unit-Tests, End-to-End-Integrationstests und Live-Tests gegen ein In-Process-Harbor-Backend. Die Live-Evaluierung liest Anbieter- und Agenten-Anmeldeinformationen aus Ihrer Umgebung, niemals aus dem Repository (bei NVIDIA Build deckt ein NVIDIA_API_KEY beide Rollen ab). Zwei pytest-Marker sind standardmäßig ausgeschlossen, sodass langsame und credentialierte Tests niemals die tägliche Entwicklungsschleife blockieren. Das Tool richtet sich an Rechenzentrumsbetreiber, Physical-AI-Entwickler und AI-Entwickler und läuft auf Linux.