Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

最近のオンラインディスカッションの中で、NVIDIAの主任研究員であるBill Dally氏は、ムーアの法則以降の時代におけるコンピューターのパフォーマンス提供における大きな変化を強調した。同氏は、新しいプロセッサーを開発するたびに、革新性と新しいコンポーネントの厳密な検証が求められることを強調した。このアプローチは、ますます小型化と高速化が進むチップの物理学に依存していた前世代とは対照的だ。Dally氏は、NVIDIA Researchで300名を超えるチームを率いており、過去10年間でAI推論における単一GPUのパフォーマンスが1,000倍という驚くべき向上に貢献してきた。この大幅な増加は、NVIDIAの創設者兼CEOであるJensen Huang氏に敬意を表して、IEEE Spectrumによって最初に「Huangの法則」と呼ばれ、その後、ウォールストリート ジャーナルのコラムを通じて人気を得た。この進歩は、生成AIに使用される大規模な言語モデルの指数関数的な成長への対応であり、毎年桁違いに拡大している。ダリー氏は、1,000倍の増加に寄与した要因を概説した。その中で最も重要なのは、コンピューター計算で使用される数値の表現を簡素化することによって達成された16倍の増加だった。最新のNVIDIA Hopperアーキテクチャーは、Transformer Engineを備えており、現在の生成AIモデルのニーズに合わせて、8ビットおよび16ビットの浮動小数点と整数演算の動的なブレンドを採用している。Dally氏は、NVLinkがシステム内のGPU間で相互接続し、システム間のNVIDIAネットワークがどのようにして単一GPUのパフォーマンスを1,000倍に高めるのかについても説明した。同氏は、コンピューター設計におけるこの新たな力学が、NVIDIAのエンジニアに最も大切にしている3つの機会、つまり、成功したチームの一員になること、知的な個人とのコラボレーション、そしてインパクトのある設計に取り組むことを提供するとの信念を表明した。