Quadric mengumumkan dukungan segera untuk Model Bahasa Skala Besar (LLM) Llama 2 pada inti kekayaan intelektual (IP) Chimera General Purpose Neural Processing Unit (GPNPU). Tidak seperti pemasok prosesor aplikasi IP dan semikonduktor lainnya, Quadric dapat menambahkan dukungan ini melalui port perangkat lunak sederhana tanpa melakukan perubahan perangkat keras apa pun. Artinya, desain yang ada dapat segera menjalankan model ini, sementara pemasok lain merencanakan perubahan perangkat keras untuk memberikan dukungan mulai tahun 2024 dan seterusnya. Llama2 LLM, yang diperkenalkan oleh Meta pada 18 Juli tahun ini untuk AI generatif, sebelumnya dianggap hanya dapat diterapkan di pusat data cloud. Namun, kemitraan yang diumumkan Meta dan Qualcomm untuk mem-porting Llama2 ke chip Qualcomm Snapdragon masa depan yang diharapkan terjadi pada tahun 2024 telah menarik perhatian pasar dan investasi dalam implementasi LLM pada perangkat di antara penyedia chip dan IP. Tim Quadric berhasil mem-porting Llama2 versi terkuantisasi INT8 ke platform Chimera dan menyempurnakan kinerjanya hanya dalam 13 dari total empat minggu rekayasa. Hal ini dicapai dengan mengkodekan dua lapisan operator ML baru dan dua varian kernel operator yang ada di C++ untuk menjalankan model. Dua minggu rekayasa tambahan dihabiskan untuk menyempurnakan kinerja dan akurasi casing sudut untuk memastikan bahwa casing tersebut berfungsi andal dengan ketiga ukuran prosesor seri Chimera QB. Sementara itu, penyedia solusi inferensi pembelajaran mesin lainnya dengan tim besar masih berjuang untuk mencapai tujuan porting mereka pada bulan Juni. Kinerja Chimera QB4 4 TOPs GPNPU Quadric yang menjalankan Llama2 15M sangat mengesankan, mencapai efisiensi 225 token/detik/watt dengan teknologi 5nm sementara hanya menempati 2,5 mm2. Sebagai perbandingan, CPU tunggal berperforma tertinggi di laptop M1 Pro hanya mencapai 11 token/dtk/W saat menjalankan Llama2 versi Int8 yang sama. Ini berarti Quadric memberikan peningkatan 20x dalam inferensi ML per watt dibandingkan dengan CPU canggih.