NVIDIA mengumumkan DFlash, teknologi dekode spekulatif sumber terbuka yang dirancang untuk meningkatkan efisiensi inferensi model bahasa besar pada platform GPU modern.

Perusahaan tersebut mengatakan bahwa DFlash menggunakan perancang difusi blok yang menghasilkan beberapa token kandidat secara paralel, memungkinkan model target untuk memverifikasi output dengan lebih efisien daripada metode dekode sekuensial.

Pengujian pada sistem NVIDIA Blackwell menunjukkan peningkatan throughput hingga 15 kali lipat untuk gpt-oss-120b sambil mempertahankan tingkat interaktivitas yang sama. Peningkatan kinerja juga dilaporkan untuk Llama 3.1 8B dan model open source lainnya.

DFlash tersedia melalui TensorRT-LLM, vLLM, dan SGLang, dengan 20 checkpoint model yang dirilis di Hugging Face. Pendekatan ini dimaksudkan untuk membantu pengembang mempercepat inferensi tanpa perubahan aplikasi yang besar.