NVIDIAとAnyscaleは、大規模言語モデル（LLM）の開発を加速するために協力している。このコラボレーションは年次開発者会議Ray Summitで発表され、AnyscaleはNVIDIA AIを自社のオープンソースRayプラットフォームおよびAnyscaleプラットフォームに統合する計画を明らかにした。この統合は、開発者が人気のオープンソースモデルを使用してアプリケーションにLLMを組み込めるように設計された新しいサービスであるAnyscale Endpointsにも拡張される。この提携により、生成AI開発の速度と効率が大幅に向上すると同時に、本番AIのセキュリティーも強化されることが期待される。独自のLLMからCode Llama、Falcon、Llama 2、SDXLなどのオープンモデルまで、幅広いモデルをカバーする。開発者は、Rayを使用してオープンソースNVIDIAソフトウェアを導入するか、完全にサポートされ安全な運用環境を実現するためにAnyscaleプラットフォーム上でNVIDIA AI Enterpriseソフトウェアを使用するかを選択できる。NVIDIAとAnyscaleの協力により、生成AIの開発と導入に関連するコストが簡素化され、削減されるという。最近発表されたオープンソースソフトウェアであるNVIDIA TensorRT-LLMは、LLMのパフォーマンスと効率を強化するためにAnyscaleの製品をサポートする。NVIDIA H100 TensorコアGPUで実行すると、TensorRT-LLMは前世代のGPUと比較して最大8倍のパフォーマンスを実現できる。クラウド、データセンター、エッジ、GPU、CPU、その他のプロセッサー上の組み込みデバイスにわたる推論をサポートするNVIDIA Triton Inference Serverソフトウェアも統合される。これにより、Ray開発者は、TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS XGBoostなどを含む、さまざまな深層学習および機械学習フレームワークからAIモデルをデプロイする際の効率を向上させることができる。