Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

テキストを数値データに変換するプロセス（埋め込み）は、生成AIの機能にとって極めて重要です。セマンティック検索やレコメンデーションシステムなどの技術は、大規模言語モデル（LLM）やその他のAIモデルがデータを理解できるようにするために、埋め込みを利用しています。Apache Sparkは、大規模な埋め込み生成を処理するために、データ処理タスクを複数のクラスターに分散するために広く使用されています。しかし、埋め込み生成には膨大な計算量が必要となるため、アクセラレーションコンピューティングが必要となり、GPUインフラストラクチャの管理が複雑化します。

最近のデモでは、サーバーレスGPUを搭載したAzure Container Apps (ACA) 上に分散型Sparkアプリケーションをデプロイすることで、これらの課題に対処できることを示しました。この構成により、Sparkで大規模なデータセットを管理できると同時に、ACAによってコンピューティング管理とスケーリングの複雑さが簡素化されます。デモでは、NVIDIA RAPIDS Accelerator for Sparkなどの高性能ライブラリとHugging Faceのオープンソースモデルを統合した専用のワーカーコンテナを作成し、スケーラブルなソリューションを提供しました。

その結果、AIおよびデータ処理アプリケーションに高スループットと低レーテンシーを提供する、サーバーレスで従量課金制のプラットフォームが実現しました。このアプローチは、さまざまなニーズに容易に適応できる汎用性の高いテンプレートとして機能します。最高のパフォーマンスとサポートを求める企業向けには、カスタムメイドのワーカーではなく、NVIDIA NIMマイクロサービスを組み込むことで、アーキテクチャを強化できます。

このソリューションのアーキテクチャはシンプルかつ効果的で、 Azure Container Apps 環境内の 2 つの主要なサーバーレス コンテナー アプリケーションで構成されています。Apache Spark フロントエンド コントローラー アプリケーションはワークロードをオーケストレーションし、ジョブの送信を受け付けます。一方、GPU アクセラレーションを活用した Spark ワーカー アプリケーションはデータ処理を担当します。Azure Files を使用した共有データ ストレージ レイヤーにより、Azureとワーカー間でのコード、モデル、データの共有が容易になり、開発とデプロイが効率化されます。

このソリューションを実装するには、 Azureサブスクリプション、テキストデータを含むSQL Server インスタンス、そしてAzure Container Apps、Apache Spark、 Docker、 Pythonに関する知識が必要です。GitHubGitHubAzure-Serverless-GPU-Embedding には、開始するためのサンプルコードが用意されています。デプロイプロセスには、Spark コントローラーアプリケーションのセットアップ、GPU アクセラレーション対応 Spark ワーカーアプリケーションのデプロイ、分散テキスト埋め込みジョブの実行が含まれます。これらのジョブは、開発モードでは Jupyter を使用し、実稼働モードでは HTTP トリガーを使用して実行できます。

Azure Container Apps のサーバーレス GPU 上でカスタム GPU アクセラレーション Apache Spark アプリケーションを活用することで、組織はインフラストラクチャ管理の煩わしさなしに、効率的でスケーラブル、かつコスト効率に優れた分散データ処理ソリューションを構築できます。このサーバーレス モデルでは、AI ワークロードの需要に合わせて GPU リソースを動的にスケーリングできます。Jupyter ベースの開発環境から本番環境対応のシステムへ、同じフレームワーク内で移行できる柔軟性により、困難なデータタスクを本番環境へと容易に移行できます。パフォーマンスとサポートを強化するために、NVIDIA NIM マイクロサービスをアーキテクチャに統合することも可能です。関心のある方は、NVIDIA/GenerativeAIExamples GitHubリポジトリのコードにアクセスし、「 Azure Container Apps のサーバーレス GPU で次世代 AI アプリをセキュリティ保護」というデモ ウォークスルーで詳細をご確認ください。