À propos de cet outil
Groq est une entreprise d'inférence IA en temps réel et créateur du LPUTM Inference Engine, décrit comme l'accélérateur de traitement linguistique le plus rapide du marché. Son service GroqCloud offre un accès API aux développeurs pour exécuter des modèles de langage à grande vitesse. Des benchmarks indépendants montrent que Groq atteint 877 tokens/s sur Llama 3 8B et 284 tokens/s sur Llama 3 70B, soit plus de 2 fois le débit d'autres fournisseurs. Groq sert les équipes d'entreprise, le secteur public, les startups et les développeurs IA, avec des cas d'utilisation tels que l'accélération de la découverte de médicaments, la mise à l'échelle des applications IA en production, l'exécution d'inférence LLM via API et l'évaluation du débit des modèles.