このツールについて
AXISは、サービスがAIエージェントにとってどれだけ使いやすいかを測定するために設計されたオープンソースツールおよびスコアリングフレームワークです。実際のシナリオを実行して0〜100の総合スコアを生成し、開発者がエージェントの効率を低下させるボトルネックを特定して修正するのを支援します。
主な機能
- シナリオ実行: 実際のエージェントシナリオを実行し、実際のインタラクションにおけるサービスのパフォーマンスを評価します。
- 4次元スコアリング: 目標達成、環境、サービス、エージェントの4つの次元でスコアリングし、各次元の詳細な内訳を提供します。
- プロジェクト初期化:
axis initコマンドでプロジェクトを迅速に初期化し、シナリオディレクトリとエージェントを対話的に設定します。 - スキルインストール:
npx skills add netlify/axis --allを自動実行し、検出されたエージェント設定ディレクトリに configure-axis スキルをインストールします。 - APIキーサポート: 少なくとも1つのサポートされているエージェントのAPIキーが必要です(例:Claude CodeのANTHROPIC_API_KEY)。
ワークフロー
- プロジェクトルートで
axis initを実行し、プロンプトに従ってシナリオディレクトリとエージェントを設定します。 2. 2つのファイルが作成されます:axis.jsonサンプルシナリオとエージェント設定ファイル。 3. シナリオを実行して、0〜100の総合AXISスコアを取得します。 4. 4次元の内訳を使用して、エージェントエクスペリエンスに影響を与える問題を特定して修正します。
スコアリング次元
- 目標達成: エージェントはタスクを完了しましたか?あなたのルーブリックチェックに基づいてスコアリングされます。
- 環境: エージェントがシステム環境とどのように対話するか。
- サービス: エージェントのリクエストに対するサービスの応答品質。
- エージェント: エージェント自身の実行パフォーマンス。 AXISは無料で使用でき、AIエージェント開発者、サービスプロバイダー、プラットフォームエンジニアに適しています。
機能と用途
{json|js|ts} -minimal config with your chosen scenarios path and agentsAfter the files are written, init also runs npx skills add netlify/axis --all to install the configure-axis skill into your detected agent config directoriesAn API key for at least one supported agent (for example, ANTHROPIC_API_KEY for Claude Code)Breakdowns for each of the four scoring dimensions: Goal Achievement, Environment, Service, and AgentDimension What It Tells You Goal Achievement Did the agent complete the task? Scored against your rubric checksExecution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolationExecution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolation.Initialize Your Project From your project root, run: axis init In an interactive terminal, this prompts you for the scenarios directory, which agents to include (comma-separated, eInterpret Your Results The AXIS Result is a composite of four dimensions, each measuring a different aspect of the agent's interaction with your systemIt then creates two files: axisjson -a sample scenario that asks the agent to create a file with specific contentNext Steps Scoring Framework -how the four dimensions are calculated, what signals drive each score, and why the scoring works the way it does
