Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

人工知能（AI）が進化を続ける中、組織はますます複雑化するワークフローに対応するためにAIインフラストラクチャを拡張するという課題に取り組んでいます。AIモデルのパラメータが数兆個に達し、コンテキストウィンドウが数百万トークンに拡大するにつれ、効率的なメモリおよびストレージソリューションへの需要はかつてないほど高まっています。AIエージェントは、様々なインタラクションにわたってコンテキストを維持するために長期記憶を必要としますが、これは従来、キーバリュー（KV）キャッシュによって管理されてきました。しかし、KVキャッシュ容量の必要性が高まるにつれて、既存のメモリ階層への負荷も増大します。

GPUの高帯域幅メモリ（HBM）と汎用ストレージソリューションのバランスを取る必要性が高まり、消費電力とコストの増加、そして高価なGPUリソースの活用不足につながっています。これらの問題に対処するため、AIネイティブ組織の推論インフラストラクチャの拡張性を向上させるために設計された新しいプラットフォームが導入されました。このプラットフォームは、AIインフラストラクチャをGPU、イーサネットネットワーク、ストレージを含むコンピューティングポッドに再構築し、AIファクトリーの基盤となる構成要素として機能します。

これらのポッド内には、ギガスケール推論特有のニーズに対応する専用ストレージインフラストラクチャが備わっており、従来のネットワークストレージを補完する新たなコンテキストメモリ層を提供します。この層は、レイテンシの影響を受けやすい再利用可能な推論コンテキスト向けに最適化されており、GPU利用率を向上させるために事前準備されています。その結果、従来のストレージ方式と比較して、1秒あたりのトークン数が大幅に増加し、電力効率が5倍向上します。

このプラットフォームの導入は、AIネイティブデータの管理方法に大きな変化をもたらし、効率性とパフォーマンスに重点を置きます。専用のコンテキストメモリ層を作成することで、プラットフォームはKVキャッシュの効率的な再利用を可能にし、コストと電力消費量の多い汎用ストレージ層の必要性を軽減します。このイノベーションにより、組織はエージェント時代の要求に対応し、より高いスループットとスケーラブルなKVキャッシュの再利用を実現しながら、総所有コスト（TCO）を最適化できるようになります。