生成型AIソリューションを専門とするGroq社は最近、GroqCloudプラットフォームの大幅な普及を報告した。現在、70,000人以上の開発者がこのサービスを利用している。さらに、同社のLPU推論エンジンは19,000以上の新しいアプリケーションに採用されており、AIアプリケーション向けのリアルタイム推論機能の強化に対する強い関心を反映している。3月1日のプラットフォームのリリース以来の使用の急増は、レーテンシーの短縮とスループットの向上を提供するサービスに対する需要の高まりを浮き彫りにしている。
GroqCloudのゼネラルマネージャーであるSunny Madra氏は、スタートアップ、政府機関、大企業など、さまざまな分野でこのプラットフォームが受け入れられていることに興奮を表明した。GroqのAPIを使用した迅速なアプリケーション開発と更新は、効率的なAI推論ソリューションに対する開発者コミュニティーの要望を示している。
AIチップ市場は大幅な成長が見込まれており、その価値は2027年までに1,194億ドルに達すると予測されている。現在AIチップ使用量の約40%を占める推論チップは、AIアプリケーションが成熟し、推論タスクにさらに多くのリソースが割り当てられるようになるにつれて、需要が増加すると予想される。この傾向は、推論専用のチップとシステムの潜在市場が巨大であることを示唆している。
GroqのCEO兼創設者であるJonathan Ross氏は、リアルタイムアプリケーションにおける低レーテンシー推論の重要性を強調し、GPUはAI開発に役立ってきたものの、推論専用のリソースの大部分にはGroqが提供するようなLPUの方が適していると主張した。同社のLPU推論エンジンは、速度と効率性を重視して設計されており、大規模言語モデルやその他のAIワークロードを実行するためのGPUの代替として実現可能なものとして紹介されている。
Groqのチップ設計とアーキテクチャーへのアプローチは、従来のGPUベースの推論の限界に対処することを目的としており、決定論的コンパイラと、メモリーアクセスを高速化するためにSRAMに依存するシングルコアアーキテクチャーを提供している。この設計により、CUDAプログラミングの必要性がなくなり、開発プロセスが簡素化され、レーテンシーが削減される。さらに、Groqはエネルギー効率と簡素化されたサプライチェーンに重点を置いており、チップは全て北米で製造されているため、AIソリューション市場における競争力のあるプレーヤーとしての地位を確立している。
出典：プレスリリース
