Next Data Cycleの主要なオーケストレーターであるHammerspaceは、ハイパースケール環境内で大規模言語モデル（LLM）の推論をトレーニングするための独自のデータアーキテクチャーを発表した。この革新的なアーキテクチャーは、AI技術者がスーパーコンピューティングクラスの並列ファイル システムのパフォーマンスと、標準NFSへのアプリケーションおよび研究アクセスの容易さを組み合わせた統合データアーキテクチャーを作成できる唯一のアーキテクチャーだという。
AI戦略の成功は、多数のGPUに拡張できる能力と、ローカルデータ サイロと分散データサイロの両方にアクセスする柔軟性にかかっている。また、組織は、データが現在存在するハードウェアまたはクラウド インフラストラクチャーに関係なくデータを使用でき、データガバナンス ポリシーを維持するために必要なセキュリティー制御を備えている必要もある。これらの要件は、LLMの開発において特に重要だ。LLMでは、多くの場合、数千億のパラメータ、数万のGPU、数百ペタバイトのさまざまな種類の非構造化データの使用が必要になるという。
Hammerspaceの発表では、LLMデータパイプラインとデータ ストレージの固有の要件を満たすために必要なパフォーマンス、導入の容易さ、標準ベースのソフトウェアとハードウェアのサポートを独自に提供する実証済みのアーキテクチャーが明らかになった。同社の超高性能ファイルシステムは、データ パイプライン全体を単一の並列グローバルファイル システムに統合し、既存のインフラストラクチャーとデータを、追加される新しいデータセットとリソースと統合するとのことだ。
Hammerspaceアーキテクチャーは、LLMトレーニングと推論ワークロードの全てのフェーズを同時かつ継続的に実行できる、統合された高性能のグローバルデータ環境を作成する。Hammerspaceは、トレーニングデータが保存されている場所であればどこでも活用することで、統合された新しいリポジトリーにファイルをコピーして移動する必要性を最小限に抑え、AIワークロードを合理化する。このアプローチにより、オーバーヘッドが削減されるだけでなく、LLMにエラーや不正確さが生じるリスクも軽減される。アプリケーションレベルでは、データは標準のNFSファイルインターフェイスを介してアクセスされ、アプリケーションが通常設計される標準形式のファイルに直接アクセスできるようになる。
出典：プレスリリース
