Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、Kubernetesクラスター上でのAI推論パイプラインの導入と管理を簡素化するツール「NIM Operator」の機能を強化しました。NIM Operatorの初期リリースでは、NIMマイクロサービスの迅速な導入、自動スケーリング、アップデートを可能にすることで、MLOpsおよびKubernetes管理者の作業負荷を軽減することに重点が置かれていました。このツールは、チャットボットから仮想創薬まで、幅広いアプリケーションの管理において、お客様やパートナーの皆様に多大なる貢献を果たしてきました。

Cisco Systemsのコンピューティング ソリューション チームは、NIM Operator を自社のAI インフラストラクチャに統合し、NVIDIA AI ブループリントを活用して、検索拡張型生成パイプラインを構築しました。Cisco Cisco Systemsの Paniraja Koppa 氏によると、NIM Operator は効率的なモデル キャッシュと NIM サービスの統合管理を通じて、導入プロセスを大幅に効率化し、AI アプリケーションのパフォーマンスを向上させました。

最新アップデートであるNVIDIA NIM Operator 2.0では、AIワークフローの構築に不可欠なNVIDIA NeMoマイクロサービスのデプロイメントとライフサイクル管理が導入されています。このアップデートには、NeMo Customizer、Evaluator、Guardrails用の新しいKubernetesカスタムリソース定義（CRD）が含まれており、それぞれ言語モデルの微調整を容易にし、包括的な評価機能を提供し、LLMエンドポイントに安全性チェックを追加します。

AIワークフローの導入を簡素化するというNVIDIAの取り組みは、NIM Operatorの機能に明確に表れています。NIM Operatorは、ローリングアップグレード、イングレス構成、自動スケーリングといったDay 2運用の容易な管理をサポートします。NIM Operatorは、エンタープライズサポートとプロアクティブなセキュリティパッチ適用を提供するNVIDIA AI Enterpriseの一部であり、NGCまたはGitHubから入手できます。