關於這個工具
AXIS 是一個開源工具和評分框架,旨在衡量服務對 AI 智慧代理的友好程度。它透過運行真實場景,生成 0–100 的綜合評分,幫助開發者識別並修復影響智慧代理效率的瓶頸。
核心功能
- 場景運行:支援運行真實智慧代理場景,評估服務在實際互動中的表現。
- 四維評分:從目標達成、環境、服務和智慧代理四個維度進行評分,每個維度提供詳細分解。
- 專案初始化:透過
axis init命令快速初始化專案,互動式配置場景目錄和智慧代理。 - 技能安裝:自動運行
npx skills add netlify/axis --all,將 configure-axis 技能安裝到檢測到的智慧代理配置目錄。 - API 金鑰支援:需要至少一個受支援智慧代理的 API 金鑰(例如 Claude Code 的 ANTHROPIC_API_KEY)。
使用流程
- 在專案根目錄運行
axis init,根據提示配置場景目錄和智慧代理。 2. 生成兩個檔案:axis.json範例場景和智慧代理配置檔案。 3. 運行場景,獲取 0–100 的 AXIS 綜合評分。 4. 根據四維評分結果,定位並修復影響智慧代理體驗的問題。
評分維度
- 目標達成:智慧代理是否完成任務?根據您的評分標準檢查。
- 環境:智慧代理與系統環境的互動情況。
- 服務:服務對智慧代理請求的回應品質。
- 智慧代理:智慧代理自身的執行表現。 AXIS 採用免費模式,適合 AI 智慧代理開發者、服務提供商和平台工程師使用。
功能與使用情境
{json|js|ts} -minimal config with your chosen scenarios path and agentsAfter the files are written, init also runs npx skills add netlify/axis --all to install the configure-axis skill into your detected agent config directoriesAn API key for at least one supported agent (for example, ANTHROPIC_API_KEY for Claude Code)Breakdowns for each of the four scoring dimensions: Goal Achievement, Environment, Service, and AgentDimension What It Tells You Goal Achievement Did the agent complete the task? Scored against your rubric checksExecution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolationExecution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolation.Initialize Your Project From your project root, run: axis init In an interactive terminal, this prompts you for the scenarios directory, which agents to include (comma-separated, eInterpret Your Results The AXIS Result is a composite of four dimensions, each measuring a different aspect of the agent's interaction with your systemIt then creates two files: axisjson -a sample scenario that asks the agent to create a file with specific contentNext Steps Scoring Framework -how the four dimensions are calculated, what signals drive each score, and why the scoring works the way it does
