AXIS — Agent Experience Index Score
AXIS ist ein Open-Source-Tool und ein Bewertungsframework, um zu messen, wie gut Dienste für KI-Agenten funktionieren. Führen Sie reale Szenarien aus, erhalten Sie eine Punktzahl von 0–100 und beheben Sie, was Agenten verlangsamt.
Über dieses Tool
AXIS ist ein Open-Source-Tool und ein Bewertungsframework, das entwickelt wurde, um zu messen, wie gut Dienste für KI-Agenten funktionieren. Es führt reale Szenarien aus, um eine zusammengesetzte Punktzahl von 0–100 zu generieren, und hilft Entwicklern, Engpässe zu identifizieren und zu beheben, die Agenten verlangsamen.
Kernfunktionen
- Szenarioausführung: Führen Sie reale Agentenszenarien aus, um die Dienstleistung in tatsächlichen Interaktionen zu bewerten.
- Vierdimensionale Bewertung: Bewertung in den Bereichen Zielerreichung, Umgebung, Service und Agent, mit detaillierten Aufschlüsselungen für jede Dimension.
- Projektinitialisierung: Initialisieren Sie ein Projekt schnell mit dem Befehl
axis initund konfigurieren Sie interaktiv das Szenarioverzeichnis und die Agenten. - Skill-Installation: Führt automatisch
npx skills add netlify/axis --allaus, um den configure-axis-Skill in erkannte Agenten-Konfigurationsverzeichnisse zu installieren. - API-Schlüssel-Unterstützung: Erfordert einen API-Schlüssel für mindestens einen unterstützten Agenten (z. B. ANTHROPIC_API_KEY für Claude Code).
Arbeitsablauf
- Führen Sie im Projektstamm
axis initaus und folgen Sie den Aufforderungen, um das Szenarioverzeichnis und die Agenten zu konfigurieren. 2. Zwei Dateien werden erstellt:axis.jsonBeispielszenario und Agenten-Konfigurationsdatei. 3. Führen Sie Szenarien aus, um eine zusammengesetzte AXIS-Punktzahl von 0–100 zu erhalten. 4. Verwenden Sie die vierdimensionale Aufschlüsselung, um Probleme zu lokalisieren und zu beheben, die die Agentenerfahrung beeinträchtigen.
Bewertungsdimensionen
- Zielerreichung: Hat der Agent die Aufgabe abgeschlossen? Bewertet anhand Ihrer Rubrik-Checks.
- Umgebung: Wie der Agent mit der Systemumgebung interagiert.
- Service: Qualität der Serviceantworten auf Agentenanfragen.
- Agent: Die eigene Ausführungsleistung des Agenten. AXIS ist kostenlos nutzbar und eignet sich für KI-Agenten-Entwickler, Dienstanbieter und Plattformingenieure.
Funktionen & Anwendungsfälle
{json|js|ts} -minimal config with your chosen scenarios path and agentsAfter the files are written, init also runs npx skills add netlify/axis --all to install the configure-axis skill into your detected agent config directoriesAn API key for at least one supported agent (for example, ANTHROPIC_API_KEY for Claude Code)Breakdowns for each of the four scoring dimensions: Goal Achievement, Environment, Service, and AgentDimension What It Tells You Goal Achievement Did the agent complete the task? Scored against your rubric checksExecution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolationExecution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolation.Initialize Your Project From your project root, run: axis init In an interactive terminal, this prompts you for the scenarios directory, which agents to include (comma-separated, eInterpret Your Results The AXIS Result is a composite of four dimensions, each measuring a different aspect of the agent's interaction with your systemIt then creates two files: axisjson -a sample scenario that asks the agent to create a file with specific contentNext Steps Scoring Framework -how the four dimensions are calculated, what signals drive each score, and why the scoring works the way it does