Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Google Cloudは、生成AIアプリケーション向けに大規模言語モデル（LLM）を導入する企業が直面するネットワーク固有の課題に積極的に取り組んでいる。予測可能なトラフィックパターンを持つ従来のウェブ アプリケーションとは異なり、生成AIアプリケーションではリクエスト/応答時間が変動し、GPUまたはTPUリソースが完全に占有される可能性があるため、処理時間が長くなる。これを効果的に管理するには、従来のトラフィック管理手法では不十分だ。

生成AIの特定のニーズに応えるため、Google Cloudはいくつかの新しいネットワーク機能を導入した。これらの機能強化は、AIアプリケーションのトラフィックを最適化し、GPUおよびTPUリソースを効率的に使用してエンドユーザーエクスペリエンスを向上させるように設計されている。Vertex AIなどのイノベーションがクラウドネットワーキングに統合されているため、企業はさまざまなLLMプラットフォームでこれらの進歩を活用できる。

主要なサービスの1つは、生成AIモデルのトレーニングに不可欠なクラウド間の高速データ転送を可能にするクロスクラウドネットワークだ。このネットワークは、分散アプリケーション用のGoogleのグローバルネットワークを活用し、信頼性が高く、安全で、SLAに裏打ちされた接続を提供する。さらに、AI推論アプリケーションをサポートするために開発されたモデルアズ アサービス エンドポイントにより、安全な接続が提供され、AIモデルの検出と再利用が可能になる。

Google Cloudは、推論のレーテンシーを最小限に抑えるために、カスタムAI対応の負荷分散も導入した。この新しい機能により、キューの深さなどのカスタムメトリックに基づいてトラフィックを分散し、一貫した応答時間を維持できる。さらに、Google Cloud Networkingには、負荷分散のためのヘルスチェックや、モデルの有効性を高めるための加重トラフィック分割など、生成AIアプリケーションの信頼性と効率性を高める組み込み機能が含まれている。

Google Cloudアプリケーションロードバランサーのサービス拡張機能が一般提供され、SaaSソリューションやカスタマイズをデータパスに統合できるようになった。これにより、リクエストを迅速にブロックして最適なバックエンドモデルにルーティングできるため、ユーザー エクスペリエンスが向上する。

Google Cloudによるこれらのネットワーク強化は、企業がAIの機能を最大限に活用し、生成AIアプリケーションのパフォーマンスとスケーラビリティーを最適化できるようにするソリューションを提供するという取り組みを示している。ソース：