Über dieses Tool
Groq ist ein Echtzeit-KI-Inferenzunternehmen und Entwickler der LPUTM Inference Engine, die als schnellster Sprachverarbeitungsbeschleuniger auf dem Markt beschrieben wird. Der GroqCloud-Dienst bietet API-Zugriff für Entwickler, um große Sprachmodelle mit hoher Geschwindigkeit auszuführen. Unabhängige Benchmarks zeigen, dass Groq 877 Tokens/s bei Llama 3 8B und 284 Tokens/s bei Llama 3 70B erreicht, was mehr als die doppelte Durchsatzleistung anderer Anbieter ist. Groq bedient Unternehmensteams, den öffentlichen Sektor, Startups und KI-Entwickler, mit Anwendungsfällen wie der Beschleunigung der Arzneimittelforschung, der Skalierung von KI-Anwendungen in der Produktion, der Ausführung von LLM-Inferenz über API und der Benchmarking des Modelldurchsatzes.