Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Llama AI モデルの最新版である Llama 4 Scout と Llama 4 Maverick が発表されました。パフォーマンスが大幅に向上しています。NVIDIA のオープンソース ソフトウェアを搭載したこれらのモデルは、NVIDIA Blackwell B200 GPU で実行した場合、1 秒あたり 40,000 を超える出力トークンを処理できます。現在、NVIDIA NIM を通じてマイクロサービスとしてテストに利用でき、さまざまなアプリケーションでの可能性を垣間見ることができます。

Llama 4 の進歩には、専門家混合アーキテクチャによるネイティブ マルチモーダルおよび多言語機能が含まれます。1,090 億のパラメーターと 16 人の専門家を備えた Llama 4 Scout モデルは、複数ドキュメントの要約や広範なユーザー アクティビティの解析などのタスクの処理に特に適しています。一方、4,000億のパラメータと128人のエキスパートを備えたLlama 4 Maverickモデルは、高性能な画像とテキストの理解に優れています。

両方のモデルは、NVIDIA GPUでの大規模言語モデルの推論パフォーマンスを向上させるように設計されたオープンソースライブラリであるNVIDIA TensorRT-LLM用に微調整されています。この最適化により、Blackwell B200 GPUで驚異的なスループットが実現し、Llama 4 Scoutは1秒あたり40,000トークン以上、Llama 4 Maverickは1秒あたり30,000トークン以上を達成しています。

NVIDIAとMetaのコラボレーションは、オープンモデルの開発を促進し続け、AIの透明性を促進し、幅広いユーザーがAIの安全性と回復力に貢献できるようにします。さらに、NVIDIAのNeMoフレームワークは、エンタープライズデータを使用してLlamaモデルを微調整しやすくし、これらのモデルをAIアプリケーションに適応させるプロセスを合理化します。導入を簡素化するために、NVIDIA NIM は Llama 4 モデルをマイクロサービスとしてパッケージ化し、データのプライバシーとセキュリティを維持しながら GPU アクセラレーション インフラストラクチャへの容易な統合を保証します。