Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Google（アメリカ カリフォルニア州）は、AI推論インフラストラクチャの需要が増加していると発表した。特に、AIエージェントの台頭と大規模なコンテキストウィンドウのサポートが需要を加速している。組織は、コストを最適化しつつユーザーエクスペリエンスを向上させるために、推論リソースの効率的な管理が必要とされている。

同社の研究によると、Google Cloud Managed Lustreなどの高性能ストレージを使用することで、総所有コスト（TCO）を最大35%削減できることが判明した。これにより、組織は43%少ないGPUで同じワークロードを処理することが可能になる。ブログでは、AI推論の管理における課題と、Google Cloud Managed Lustreが提供するソリューションについて詳しく説明している。

KVキャッシュは、Transformerベースの大規模言語モデル（LLM）の効率的な運用に不可欠な最適化手法である。セルフアテンションメカニズムにより、シーケンス内のすべての要素が瞬時に動的に比較される。KVキャッシュは、これらのキー（K）ベクトルと値（V）ベクトルを保存し、推論プロセスを高速化する。

エージェントAIの成長は、長いコンテキストの管理という課題を深刻化させる可能性がある。エージェントAIは、会話だけでなく、問題解決やタスク完了を目的としており、広範なデジタルソースからコンテキストを収集する。これにより、KVキャッシュのサイズが増加する。

Googleは、外部KVキャッシュのストレージソリューションとしてGoogle Cloud Managed Lustreを推奨している。このソリューションは、大規模なAI推論ワークロードに最適であり、TCOを削減しつつ、アクセラレータあたりのスループットを向上させることができる。Googleの実験では、Managed Lustreを使用することで、推論パフォーマンスが大幅に向上することが示された。