このツールについて
SkillEvaluatorは、NVIDIAのオープンソースエージェント評価フレームワークであり、エージェント評価テストの実行に使用されます。階層化されたテストアプローチを提供します:デフォルトの高速ユニットテスト、エンドツーエンド統合テスト、およびインプロセスHarborバックエンドに対するライブテスト。ライブ評価は、プロバイダーとエージェントの資格情報を環境変数から読み取り、リポジトリからは読み取りません(NVIDIA Buildでは、1つのNVIDIA_API_KEYが両方の役割をカバーします)。2つのpytestマーカーはデフォルトで除外されるため、遅いテストや資格情報が必要なテストが日常の開発ループを妨げることはありません。このツールは、データセンター運用者、物理AI開発者、AI開発者を対象とし、Linux上で動作します。
機能と用途
Tiered testing: fast unit tests, integration tests, live testsSlow and credentialed tests excluded by defaultCredentials read from environment, not the repoSupports NVIDIA_API_KEY for unified credentialsOpen source
クイックファクト
公開APIあり
セルフホスト対応