Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA は、マルチモーダル生成 AI モデルの開発を強化する NeMo プラットフォームの拡張を発表しました。このプラットフォームは、高品質のビジュアル データのキュレーションを簡素化し、トレーニングとカスタマイズを加速し、推論中のビジュアル再構築を改善する包括的なパイプラインをサポートするようになりました。この開発により、より正確で効率的な AI モデルの作成が可能になり、さまざまな業界にメリットがもたらされます。

プラットフォームの NeMo Curator コンポーネントは、データ キュレーション プロセスを合理化するように設計されており、マルチモーダル生成 AI モデルの構築に関連する時間とコストを大幅に削減します。複数の GPU でペタバイト規模のデータを処理できるオーケストレーション パイプラインを提供し、標準的な GPU 実装と比較してビデオ処理時間を最大 7 倍短縮できます。Curator は、高スループット フィルタリングやキャプション作成などのタスクに最適化されたビデオ キュレーションのリファレンス モデルも提供します。

データ キュレーションに加えて、NVIDIA は、高度なビジュアル トークン化を提供するオープン モデルである Cosmos トークナイザーを導入しました。これらのトークナイザーは、視覚データをコンパクトでセマンティックなトークンにマッピングするように設計されており、大規模な生成モデルの効率的なトレーニングを容易にします。これらは、さまざまな視覚言語モデルと拡散モデルをサポートし、高解像度の画像やビデオを管理するためにさまざまなアスペクト比と解像度に対応しています。

Cosmos トークナイザー アーキテクチャは、3D 因果畳み込みブロックと因果時間アテンションを備えた洗練されたエンコーダー/デコーダー構造を特徴としており、時空間情報の効率的な処理を保証します。この構造により、モデルは意味のある機能に集中できるため、学習効率が向上し、高度に圧縮されたトークンから高忠実度画像やビデオを作成できます。推論中、Cosmos トークナイザーは、高品質の視覚出力を維持しながら、主要なオープンウェイト トークナイザーよりも最大 12 倍高速な再構築速度を実現できます。

NeMo Curator や Cosmos トークナイザーを含む NVIDIA の NeMo プラットフォームへの機能強化により、開発者は高度なマルチモーダル生成 AI モデルを構築できます。これらのツールは、ビデオ AI モデル開発の効率と品質を向上させることで、ロボット工学から自動車、小売業まで、さまざまな分野でより正確な AI モデルの作成を促進することが期待されています。