Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Google Cloud（アメリカ合衆国）は、大規模言語モデル（LLM）の強化学習（RL）におけるインフラストラクチャの課題に対応するため、フルスタック統合アプローチを提供する。同社のブログで、カスタムTPUハードウェアからGKEオーケストレーション層までの詳細な解説と、大規模RLの要求に応える方法が紹介された。

RLは、トレーニングと推論を組み合わせたフィードバックループであり、LLMが生成した回答に「報酬モデル」がスコアを割り当て、RLアルゴリズムがパラメータを更新する。Google Cloudは、このプロセスを支えるため、TPUとGPUの柔軟なコンピューティングオプション、フルスタック最適化、オープンソースリーダーシップ、メガスケールオーケストレーションを提供する。

Google Cloudのアプローチには、カスタムTPUアクセラレータ、高スループットストレージ、GKEオーケストレーションが含まれる。これにより、RLワークロードのシステム全体のレイテンシを最小限に抑えることが可能になる。また、オープンソースのツールとの連携により、顧客は作業に最適なツールを選択できる。

GKE AIメガクラスタは最大65,000ノードをサポートし、GoogleはRLワークロードをスケーリングするためにマルチクラスタソリューションに投資している。GKEインフラストラクチャはRLワークロードに最適であり、効率性を提供する。RLワークフローの構築には、明確なユースケースの特定、アルゴリズムの選択、GKEクラスタのプロビジョニング、オーケストレーターとしてのRayのデプロイが必要である。