クラウド接続の大手企業であるCloudflareは、自社のグローバルネットワークのエッジにNVIDIA GPUを導入する計画を発表した。この動きにより、AI推論の計算能力が世界中のユーザーに近づくことになる。同社はまた、NVIDIA TensorRT-LLMやNVIDIA Triton InferenceサーバーなどのNVIDIAのフルスタック推論ソフトウェアを組み込んで、大規模な言語モデルを含むAIアプリケーションのパフォーマンスを向上させる。本日より、Cloudflareの全ての顧客はローカルのコンピューティング能力にアクセスし、より高速で準拠性の高いインフラストラクチャーを使用してAIアプリケーションとサービスを提供できるようになる。この開発により、組織はAIワークロードを大規模に実行し、必要に応じて計算能力の料金を支払うことができるようになる。これはCloudflareにとって初めてのことだ。エンドユーザーがAIを体験する方法であるAI推論は、AIワークロードの大半を占めると予想される。Cloudflareは世界中の300以上の都市にデータセンターを持ち、ユーザーに高速なエクスペリエンスを提供し、世界的なコンプライアンス規制を満たすことができる。Cloudflareの新しい取り組みにより、世界中のあらゆる組織がNVIDIA GPU、ネットワーキング、推論ソフトウェアを活用したAIモデルの導入を開始できるようになる。これは、展開の管理、スケーリング、最適化、またはセキュリティー保護を必要とせずに可能になる。同社は、初期費用なしで生成AI推論を世界中で利用できるようにしている。NVIDIA GPUを自社のグローバルエッジ ネットワークに導入することで、Cloudflareは全てのエンドユーザーに低遅延の生成AIエクスペリエンスを提供する。NVIDIA GPUは、2023年末までに100以上の都市で推論タスクに使用できるようになり、2024年末までにCloudflareのネットワークが広がるほぼ全ての場所で利用できるようになる。顧客は、データが存在する場所の近くでコンピューティング能力にアクセスできるようになり、コンプライアンスや規制の可能性を予測するのに役立つ。要件。大規模な従量課金制のコンピューティング能力により、使用されなくなる可能性のあるGPUを予約するために多額の資金を事前に投資することなく、あらゆる企業が最新のAIイノベーションにアクセスできるようになる。