Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

フォーチュン 100 の小売企業は、 JSON形式をうまく活用して、非構造化情報を処理する柔軟性を活かし、膨大な在庫データを管理しています。同社が GPU アクセラレーションを実装したことで、データ処理ワークロードの効率が大幅に向上しました。これらのワークロードを GPU で実行することで、実行時間が 16.7 時間からわずか 3.8 時間へと大幅に短縮され、CPU クラスターを使用する場合と比較して 80% のコスト削減につながっています。

小売業者のデータ処理の進歩は、それぞれ NVIDIA T4 GPU を搭載した GCP n1-standard-16 インスタンスの使用によって可能になりました。このセットアップは、単一のインスタンスで数十テラバイトを超えることもある、 JSONデータの広範なクエリを伴う小売業者の Spark ワークロードの処理に効果的であることが証明されています。

GPU でJSONデータを処理する際の課題は、Apache Spark 用の RAPIDS Accelerator によって解決されました。特に、Spark の get_json_object 関数を使用してSQLクエリ内のJSON文字列を解析する場合に課題が顕著でした。文字列のサイズが大きく、関数の呼び出しが頻繁であることによる当初の困難にもかかわらず、指定されたパスに基づいてJSONレコードからオブジェクトを抽出する関数の機能は、小売業者の ETL パイプラインにとって非常に重要でした。

GPU でのJSON処理、特にスパース データを最適化するために、一連の戦略的な改善が実装されました。これには、スレッドの相違を最小限に抑えるためにワープ内で類似データをグループ化することや、相違をさらに減らすためにクエリをソートすることなどが含まれます。RAPIDS cuDF ライブラリのデータ並列トークナイザーの使用も、パフォーマンスの大幅な向上に貢献しました。これらの最適化により、処理時間が 5.6 倍高速化され、年内にさらなる機能強化がリリースされる予定です。RAPIDS Accelerator for Apache Spark は、cuDF と連携してJSONデータの GPU 処理を改善するのに役立ち、企業にコード変更なしで既存の Spark ワークロードを GPU に移行する機会を提供します。