SambaNova Systems muncul sebagai yang berkinerja terbaik dalam tolok ukur model bahasa skala besar (LLM) terbaru yang dilakukan oleh Analisis Buatan. Model Samba-1 Turbo milik perusahaan mencapai rekor baru dengan memproses lebih dari 1.000 token per detik. Ini merupakan lompatan besar dalam performa Llama 3 8B. CEO Rodrigo Liang menyediakan sistem AI khusus yang hemat biaya dan tidak mengorbankan kecepatan demi akurasi, sehingga memungkinkan organisasi meningkatkan alur kerja dan mendorong inovasi lebih cepat.

Micah Hill-Smith, salah satu pendiri dan CEO Analisis Buatan, mengakui pekerjaan SambaNova, mencatat bahwa kinerja inferensi Samba-1 Turbo mengungguli semua tolok ukur lainnya. Output model yang mengesankan yaitu 1.084 token per detik lebih dari delapan kali kecepatan rata-rata penyedia lainnya. Selain itu, kualitas model Samba-1 Turbo Llama 3 Instruct (8B) telah dipastikan memenuhi standar presisi 16-bit.

Pendekatan SambaNova berbeda dari para pesaingnya karena ia dapat menjalankan model Llama 3 8B dengan kecepatan yang belum pernah terjadi sebelumnya hanya dengan 16 chip dan menampung hingga 1000 pos pemeriksaan Llama 3 dalam satu node. Efisiensi ini tidak hanya menjaga akurasi sempurna, namun juga mengurangi biaya secara signifikan dibandingkan pesaing yang membutuhkan ratusan chip untuk tugas serupa. Teknologi perusahaan memungkinkan beberapa model berjalan secara bersamaan tanpa mengorbankan kecepatan, mengurangi total biaya kepemilikan sebanyak 10 kali lipat.

Kunle Olukotun, salah satu pendiri SambaNova dan ilmuwan komputer terkemuka di Universitas Stanford, menyoroti inovasi di balik kesuksesan tersebut dan memuji arsitektur aliran data chip SN40L. Desain ini meminimalkan latensi dan memaksimalkan throughput, memungkinkan kemampuan AI instan yang mengungguli solusi berbasis GPU tradisional. SambaNova mengundang para pelaku bisnis untuk merasakan langsung kemampuan Samba-1 Turbo.