Perusahaan Generative AI SambaNova mengumumkan bahwa model DeepSeek-R1 671B miliknya kini berjalan pada platform cloud miliknya, memberikan kinerja yang mengagumkan sebesar 198 token per detik. Kinerja ini tak tertandingi dalam industri ini, memberikan pengembang dan perusahaan solusi yang lebih hemat biaya dan efisien untuk inferensi AI dalam skala besar. Kecepatan tinggi ini dikaitkan dengan chip SN40L RDU milik perusahaan, yang diharapkan dapat terus ditingkatkan hingga 5 kali lebih cepat daripada satu rak GPU modern pada akhir tahun.

CEO perusahaan, Rodrigo Liang, menekankan pentingnya kemampuan menjalankan model DeepSeek-R1 secara penuh, bukan hanya versi yang disederhanakan, pada kecepatan tinggi. Kemajuan ini khususnya penting untuk model inferensi yang memerlukan sejumlah besar token untuk menghasilkan output yang baik. Dr. Andrew Ng, tokoh terkemuka dalam AI, juga menyoroti dampak transformatif yang akan dimiliki teknologi SambaNova terhadap kemampuan pengembang untuk menangani model inferensi yang kompleks.

Benchmark independen oleh Artificial Analysis mengonfirmasi bahwa penerapan DeepSeek-R1 di cloud oleh SambaNova merupakan kecepatan output tercepat yang tercatat untuk model ini. Salah satu pendiri Artificial Analysis, George Cameron, mencatat bahwa output cepat penting bagi model inferensi yang menggunakan token ini untuk meningkatkan kualitas respons. Pekerjaan SambaNova bertujuan untuk mempromosikan penggunaan model inferensi dalam skenario di mana latency merupakan faktor utama.

SambaNova memanfaatkan arsitektur aliran datanya yang unik dan desain memori tiga tingkat untuk mengatasi tantangan biaya inferensi tinggi yang terkait dengan DeepSeek-R1. Pendekatan ini secara signifikan mengurangi persyaratan perangkat keras untuk menjalankan model dari 40 rak GPU menjadi satu rak RDU SambaNova. Perusahaan ini siap untuk memperluas kapasitas secara signifikan, dengan menjanjikan untuk memberikan lebih dari 100 kali kapasitas global DeepSeek-R1 saat ini pada akhir tahun, memposisikan RDU sebagai solusi perusahaan yang paling efisien untuk model inferensi.