OpenLIT: Open-Source-Plattform für AI Engineering
OpenLIT ist eine Open-Source-Plattform für AI Engineering auf Basis von OpenTelemetry, vollständig selbst hostbar, mit LLM-Observability, Evaluierungen, Prompt-Management und Kostenverfolgung.
Über dieses Tool
Was
OpenLIT ist OpenLIT ist eine Open-Source-Plattform für AI Engineering für AI-Ingenieure, DevOps-Teams, LLM-Entwickler und Datenwissenschaftler. Sie basiert auf OpenTelemetry, ist vollständig selbst hostbar und deckt LLM-Observability, Evaluierungen, Prompt-Management und Kostenverfolgung ab.
Kernfunktionen
- LLM-Observability und Tracing: LLM-Aufrufe verfolgen und überwachen.
- AI-Kostenverfolgung: Liefert Preisinformationen für gängige Modelle und wendet sie auf Traces, Dashboards und Kostenberichte an; Auto Pricing plant die AI-Kostenverfolgung für neue LLM-Traces.
- Sichtbarkeit der AI-Ausgaben: Sehen, wie viel jeder Entwickler, jedes Team und jedes Projekt für AI-Coding-Tools ausgibt, aufgeschlüsselt nach Modell und Anbieter über Claude Code, Cursor und Codex.
- Prompt-Management: Prompts über den Prompt Hub verwalten und Otter einen Prompt nach Name oder ID prüfen lassen.
- Dashboards und Analysen: Dashboards und Ordner erstellen, Widgets hinzufügen sowie Dashboards sichern und wiederherstellen.
- Agenten-Gedächtnis: Langfristige Agenten-Erinnerungen speichern und durchsuchen, begrenzt nach Benutzer, Lauf oder Agent.
Bereitstellung
und Integration OpenLIT ist Open Source und selbst gehostet und wird über Umgebungsvariablen konfiguriert, die beim Start des Serverprozesses einmal gelesen werden (kein Hot-Reload). Vorgefertigte Binärdateien sind über GitHub Releases verfügbar; GPU-Metrik-Erfassung und eBPF-CUDA-Tracing werden unterstützt.