Mengbi
Score qualité 65Caxis.run#coding#no-code

AXIS — Score de l'indice d'expérience des agents

AXIS est un outil open source et un cadre de notation pour mesurer la qualité des services pour les agents IA. Exécutez des scénarios réels, obtenez un score de 0 à 100 et corrigez ce qui ralentit les agents.

Visiter le site

À propos de cet outil

AXIS est un outil open source et un cadre de notation conçu pour mesurer la qualité des services pour les agents IA. Il exécute des scénarios réels pour générer un score composite de 0 à 100, aidant les développeurs à identifier et corriger les goulots d'étranglement qui ralentissent les agents.

Fonctionnalités principales

  • Exécution de scénarios : Exécutez des scénarios d'agents réels pour évaluer les performances du service dans des interactions réelles.
  • Notation en quatre dimensions : Notation selon l'atteinte des objectifs, l'environnement, le service et l'agent, avec des détails pour chaque dimension.
  • Initialisation de projet : Initialisez rapidement un projet avec la commande axis init, en configurant interactivement le répertoire des scénarios et les agents.
  • Installation de compétences : Exécute automatiquement npx skills add netlify/axis --all pour installer la compétence configure-axis dans les répertoires de configuration d'agents détectés.
  • Prise en charge des clés API : Nécessite une clé API pour au moins un agent pris en charge (par exemple, ANTHROPIC_API_KEY pour Claude Code).

Flux

de travail 1. Depuis la racine de votre projet, exécutez axis init et suivez les invites pour configurer le répertoire des scénarios et les agents. 2. Deux fichiers sont créés : axis.json scénario exemple et fichier de configuration d'agent. 3. Exécutez des scénarios pour obtenir un score AXIS composite de 0 à 100. 4. Utilisez la répartition en quatre dimensions pour localiser et corriger les problèmes affectant l'expérience des agents.

Dimensions de notation

  • Atteinte des objectifs : L'agent a-t-il terminé la tâche ? Noté selon vos critères d'évaluation.
  • Environnement : Comment l'agent interagit avec l'environnement système.
  • Service : Qualité des réponses du service aux requêtes des agents.
  • Agent : Performance d'exécution de l'agent lui-même. AXIS est gratuit et convient aux développeurs d'agents IA, aux fournisseurs de services et aux ingénieurs de plateforme.
Cas d’usage
  • {json|js|ts} -minimal config with your chosen scenarios path and agents
  • After the files are written, init also runs npx skills add netlify/axis --all to install the configure-axis skill into your detected agent config directories
  • An API key for at least one supported agent (for example, ANTHROPIC_API_KEY for Claude Code)
  • Breakdowns for each of the four scoring dimensions: Goal Achievement, Environment, Service, and Agent
  • Dimension What It Tells You Goal Achievement Did the agent complete the task? Scored against your rubric checks
  • Execution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolation
  • Execution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolation.
  • Initialize Your Project From your project root, run: axis init In an interactive terminal, this prompts you for the scenarios directory, which agents to include (comma-separated, e

Fonctions et usages

{json|js|ts} -minimal config with your chosen scenarios path and agentsAfter the files are written, init also runs npx skills add netlify/axis --all to install the configure-axis skill into your detected agent config directoriesAn API key for at least one supported agent (for example, ANTHROPIC_API_KEY for Claude Code)Breakdowns for each of the four scoring dimensions: Goal Achievement, Environment, Service, and AgentDimension What It Tells You Goal Achievement Did the agent complete the task? Scored against your rubric checksExecution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolationExecution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolation.Initialize Your Project From your project root, run: axis init In an interactive terminal, this prompts you for the scenarios directory, which agents to include (comma-separated, eInterpret Your Results The AXIS Result is a composite of four dimensions, each measuring a different aspect of the agent's interaction with your systemIt then creates two files: axisjson -a sample scenario that asks the agent to create a file with specific contentNext Steps Scoring Framework -how the four dimensions are calculated, what signals drive each score, and why the scoring works the way it does

En bref

Monétisation
  • Gratuit
Signaux de maturité
  • Open source
  • API publique
Courbe d'apprentissage
  • Moyenne

Sources

Chaque fiche conserve ses sources et sa date de vérification.
01https://axis.run/quickstart

Outils similaires

Spettro
spettro.app
90

Spettro est un assistant de codage multi-agents axé terminal, écrit en Go, avec des agents configurables, un mode objectif, des compétences d'agent, une exécution sensible aux approbations, des sessions persistantes et un routage de modèles compatible OpenAI.

Freemium · 5+/mois

Voir les détails
Modelence
modelence.com
88

Modelence est une plateforme no-code/low-code pour les constructeurs d'IA, les startups et les équipes produit afin de créer et déployer des applications web alimentées par l'IA avec administration, authentification et gestion des données intégrées.

Freemium · 9 $US+/mois

Voir les détails
T
Threadplane
threadplane.ai
85

Threadplane est un outil open source pour les développeurs Angular permettant de créer des interfaces de chat pour les agents IA, avec streaming, appels d'outils et UI générée par l'agent.

Gratuit

Voir les détails
AgentQL
docs.agentql.com
84

AgentQL est un outil de développement qui s'intègre à Playwright pour automatiser les interactions web et extraire des données de sites web via son API de requête.

Payant · 99 $US/mois

Voir les détails