このツールについて
Groqは、リアルタイムAI推論企業であり、市場最速の言語処理アクセラレータとされるLPUTM Inference Engineを開発しました。GroqCloudサービスを通じて、開発者にAPIを提供し、大規模言語モデルを高速で実行できます。独立したベンチマークでは、GroqはLlama 3 8Bで877トークン/秒、Llama 3 70Bで284トークン/秒を達成し、他のプロバイダーの2倍以上のスループットを示しています。Groqは、企業チーム、政府・公共部門、スタートアップ、AI開発者にサービスを提供し、創薬の加速、本番環境でのAIアプリケーションのスケーリング、API経由のLLM推論、モデルスループットのベンチマークなどのユースケースがあります。
機能と用途
Real-time AI inferenceLPUTM Inference EngineGroqCloud API accessHigh-speed LLM inference (877 tokens/s on Llama 3 8B)High throughput (284 tokens/s on Llama 3 70B)Supports Llama 3 models