OpenLIT : plateforme open source d'AI Engineering
OpenLIT est une plateforme open source d'AI Engineering basée sur OpenTelemetry, entièrement auto-hébergeable, offrant observabilité LLM, évaluations, gestion des prompts et suivi des coûts.
À propos de cet outil
Qu'est-ce
qu'OpenLIT OpenLIT est une plateforme open source d'AI Engineering destinée aux ingénieurs AI, aux équipes DevOps, aux développeurs LLM et aux data scientists. Basée sur OpenTelemetry et entièrement auto-hébergeable, elle couvre l'observabilité LLM, les évaluations, la gestion des prompts et le suivi des coûts.
Capacités principales
- Observabilité et traçage LLM : tracer et surveiller les appels LLM.
- Suivi des coûts AI : fournit les tarifs des modèles populaires et les applique aux traces, tableaux de bord et rapports de coûts ; Auto Pricing planifie le suivi des coûts AI pour les nouvelles traces LLM.
- Visibilité des dépenses AI : voir combien chaque développeur, équipe et projet dépense en outils de codage AI, ventilé par modèle et fournisseur pour Claude Code, Cursor et Codex.
- Gestion des prompts : gérer les prompts via le Prompt Hub et demander à Otter d'examiner un prompt par nom ou ID.
- Tableaux de bord et analyses : créer des tableaux de bord et des dossiers, ajouter des widgets, et sauvegarder et restaurer les tableaux de bord.
- Mémoire d'agent : stocker et rechercher des mémoires d'agent à long terme, limitées par utilisateur, exécution ou agent.
Déploiement
et intégration OpenLIT est open source et auto-hébergé, configuré via des variables d'environnement lues une seule fois au démarrage du processus serveur (pas de rechargement à chaud). Des binaires précompilés sont disponibles sur GitHub Releases, et la collecte de métriques GPU ainsi que le traçage eBPF CUDA sont pris en charge.