NVIDIA NeMo terus menyempurnakan model Pengenalan Ucapan Otomatis (ASR) dan diakui kinerjanya di Papan Peringkat ASR Hugging Face Open. Rangkaian model mencakup berbagai arsitektur yang menyeimbangkan kecepatan dan akurasi, termasuk model CTC, RNN-T, TDT, TDT-CTC, dan AED. Setiap model dirancang dengan fitur spesifik, seperti model CTC non-autoregresif untuk inferensi cepat dan model AED autoregresif untuk akurasi tinggi.

Perusahaan telah menghilangkan hambatan kecepatan sebelumnya dalam model ASR, meningkatkan kecepatan inferensi hingga 10x. Peningkatan ini disebabkan oleh beberapa peningkatan penting, termasuk kemampuan untuk mentransmisikan tensor secara otomatis ke bfloat16, algoritma loop label yang inovatif, dan pengenalan grafik CUDA di NeMo 2.0.0. Pengoptimalan ini secara signifikan mengurangi overhead cast, beban komputasi yang rendah, dan masalah performa berbeda yang sebelumnya menghambat efisiensi model.

NVIDIA juga mengatasi tantangan presisi pencampuran otomatis (AMP) dan optimalisasi pemrosesan batch untuk lebih meningkatkan kinerja. Dengan memanfaatkan sepenuhnya inferensi setengah presisi dan beralih ke pemrosesan batch penuh, perusahaan mencapai peningkatan throughput yang signifikan. Selain itu, dengan diperkenalkannya node kondisional CUDA Graphs, overhead startup kernel kini dapat dihilangkan dalam model RNN-T dan TDT, yang biasanya memiliki beban komputasi rendah.

Puncak dari penyempurnaan ini tidak hanya meningkatkan kecepatan model ASR NVIDIA, namun juga memberikan penghematan biaya yang signifikan. Membandingkan biaya transkripsi 1 juta jam audio menggunakan CPU dan GPU NVIDIA, kami menunjukkan penghematan biaya hingga 4,5x untuk inferensi bertenaga GPU pada NVIDIA A100. NVIDIA terus menyempurnakan model dan mengintegrasikan teknologi canggih seperti node kondisi Grafik CUDA dan TorchInductor untuk lebih meningkatkan kecepatan dan efisiensi GPU. Model CTC transduser hibrida kompak perusahaan, Parakeet TDT CTC 10M, juga telah meningkatkan akurasi dan kecepatan, sehingga memperluas kemampuan NeMo ASR.