AIソリューションプロバイダーであるGroqは、大規模言語モデル（LLM）であるLlama-2 70Bの推論パフォーマンスが大幅に向上したことを発表した。わずか3週間で、同社はパフォーマンスを2倍以上に向上させることに成功し、LPUシステム上でユーザー当たり240トークン/秒（T/s）以上の速度で実行できるようになった。この成果は、GroqがLlama-2 70Bでユーザー当たり100T/sに初めて到達した後に行われ、米国で製造された第1世代の14nmシリコンのさらなるパフォーマンス向上の可能性についての疑問を引き起こした。Groqの顧客はプライベートデモを公開しており、それぞれの業界で低レーテンシーLLMの使用例の可能性の新たな世界を切り開いている。例えば、LLMを使用すると、オンラインフォーラムやソーシャル メディアからの大量のテキストデータを監視でき、潜在的なサイバー攻撃やセキュリティー侵害を迅速に検出できる。これらのモデルの超低レーテンシーは、リアルタイムの分析と対応にとって極めて重要であり、機密情報、重要なインフラ、国家安全保障の保護において重要な役割を果たす。LLMは、自然災害時の地域の緊急対応に革命を起こす可能性もある。これらのモデルは、ソーシャルメディア、緊急通報、天気予報からのリアルタイム データを分析することで、緊急に支援が必要な地域を特定し、脅威を予測し、初期対応者や影響を受けたコミュニティーに正確なガイダンスを提供できる。