이 도구에 대하여
AXIS는 서비스가 AI 에이전트에 얼마나 잘 작동하는지 측정하도록 설계된 오픈 소스 도구 및 점수 프레임워크입니다. 실제 시나리오를 실행하여 0–100의 종합 점수를 생성하고, 개발자가 에이전트 효율성을 저하시키는 병목 현상을 식별하고 수정할 수 있도록 돕습니다.
주요 기능
- 시나리오 실행: 실제 에이전트 시나리오를 실행하여 실제 상호 작용에서 서비스 성능을 평가합니다.
- 4차원 점수: 목표 달성, 환경, 서비스, 에이전트의 네 가지 차원에서 점수를 매기고 각 차원에 대한 세부 분석을 제공합니다.
- 프로젝트 초기화:
axis init명령으로 프로젝트를 빠르게 초기화하고 시나리오 디렉터리와 에이전트를 대화식으로 구성합니다. - 스킬 설치:
npx skills add netlify/axis --all을 자동으로 실행하여 감지된 에이전트 구성 디렉터리에 configure-axis 스킬을 설치합니다. - API 키 지원: 하나 이상의 지원되는 에이전트에 대한 API 키가 필요합니다(예: Claude Code의 ANTHROPIC_API_KEY).
워크플로
- 프로젝트 루트에서
axis init을 실행하고 프롬프트에 따라 시나리오 디렉터리와 에이전트를 구성합니다. 2. 두 개의 파일이 생성됩니다:axis.json샘플 시나리오 및 에이전트 구성 파일. 3. 시나리오를 실행하여 0–100의 종합 AXIS 점수를 얻습니다. 4. 4차원 분석을 사용하여 에이전트 경험에 영향을 미치는 문제를 찾아 수정합니다.
점수 차원
- 목표 달성: 에이전트가 작업을 완료했습니까? 귀하의 루브릭 검사에 따라 점수가 매겨집니다.
- 환경: 에이전트가 시스템 환경과 상호 작용하는 방식.
- 서비스: 에이전트 요청에 대한 서비스 응답 품질.
- 에이전트: 에이전트 자체의 실행 성능. AXIS는 무료로 사용할 수 있으며 AI 에이전트 개발자, 서비스 제공업체 및 플랫폼 엔지니어에게 적합합니다.
기능 및 사용 사례
{json|js|ts} -minimal config with your chosen scenarios path and agentsAfter the files are written, init also runs npx skills add netlify/axis --all to install the configure-axis skill into your detected agent config directoriesAn API key for at least one supported agent (for example, ANTHROPIC_API_KEY for Claude Code)Breakdowns for each of the four scoring dimensions: Goal Achievement, Environment, Service, and AgentDimension What It Tells You Goal Achievement Did the agent complete the task? Scored against your rubric checksExecution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolationExecution & Agents -how AXIS runs scenarios, supported and custom agents, and workspace isolation.Initialize Your Project From your project root, run: axis init In an interactive terminal, this prompts you for the scenarios directory, which agents to include (comma-separated, eInterpret Your Results The AXIS Result is a composite of four dimensions, each measuring a different aspect of the agent's interaction with your systemIt then creates two files: axisjson -a sample scenario that asks the agent to create a file with specific contentNext Steps Scoring Framework -how the four dimensions are calculated, what signals drive each score, and why the scoring works the way it does
