Kemajuan terbaru dalam teknologi AI didorong oleh kebutuhan untuk mengelola mekanisme perhatian yang kompleks dalam model bahasa besar (LLM). Model-model ini, yang sangat penting untuk memahami dan menghasilkan teks seperti manusia, semakin bergantung pada skema perhatian yang canggih seperti Multi-Head Latent Attention (MLA) dan Grouped Query Attention (GQA). Kecepatan operasi model-model ini bukan lagi hanya masalah daya pemrosesan, tetapi juga bergantung pada efisiensi fungsi softmax, sebuah operasi matematika transendental yang penting untuk menormalisasi skor perhatian.

Fungsi softmax, khususnya ketergantungannya pada fungsi eksponensial alami, telah menjadi hambatan komputasi yang signifikan dalam pemrosesan AI. Fungsi ini, yang dieksekusi pada Unit Fungsi Khusus (SFU), merupakan langkah kunci dalam mekanisme perhatian LLM, di mana ia menormalkan skor perhatian untuk menentukan relevansi berbagai informasi. Namun, arsitektur sistem AI saat ini sering menyebabkan hambatan, karena mesin matriks yang kuat harus menunggu SFU menyelesaikan tugasnya, menyebabkan penundaan dalam keseluruhan alur pemrosesan.

Untuk mengatasi tantangan ini, NVIDIA telah memperkenalkan peningkatan pada arsitekturnya, yang dikenal sebagai Blackwell Ultra, yang menggandakan throughput SFU dibandingkan dengan arsitektur Blackwell standar. Peningkatan ini dirancang untuk mengatasi hambatan softmax, memungkinkan pemrosesan mekanisme perhatian yang lebih efisien dan kinerja keseluruhan yang lebih cepat. Arsitektur Blackwell Ultra mencapai hal ini dengan mengurangi latency pada fase softmax dari loop perhatian, yang pada gilirannya meminimalkan waktu idle untuk mesin matriks dan memaksimalkan waktu pemrosesan aktifnya.

Dampak arsitektur Blackwell Ultra pada pemrosesan AI sangat signifikan, dengan benchmark menunjukkan peningkatan substansial dalam throughput untuk berbagai operasi. Hal ini terutama terlihat pada kinerja propagasi maju model, di mana peningkatan throughput SFU menyebabkan eksekusi lapisan softmax yang lebih cepat dalam blok perhatian. Akibatnya, kecepatan keseluruhan proses maju meningkat, menunjukkan pentingnya mengoptimalkan tidak hanya komputasi linier tetapi juga operasi matematika non-linier dalam sistem AI. Fokus berkelanjutan NVIDIA pada desain dan optimasi perangkat keras-perangkat lunak diharapkan dapat lebih meningkatkan kemampuan model AI dan aplikasinya.