Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA（米カリフォルニア州サンタクララ）は、AI工場における電力コスト削減と収益性向上に向けた取り組みを発表した。運用コストの最大4割を電力が占めるケースもあり、性能当たりの消費電力が重要な指標になるとしている。

同社によると、GB200 NVL72やDSXプラットフォームを活用することで、液冷技術や動的電力配分を通じて固定電力枠内での推論処理能力向上が可能になるという。推論性能の向上はトークン生成量の増加につながると説明した。

また、ミシガン大学ML.ENERGY Initiativeとの共同研究では、大規模モデル学習時のGPU稼働速度を調整することで、学習時間を維持しながらエネルギー消費を削減できることが確認されたとされる。

さらに、DSXはリアルタイムの電力監視やワークロード最適化を通じて、AI工場全体の効率向上を支援するという。電力制約が厳しい環境でも、トークン当たりのコスト削減と収益性向上を実現できるとの見方を示した。