Groq, sebuah perusahaan yang berspesialisasi dalam solusi AI generatif, baru-baru ini melaporkan adopsi platform GroqCloud-nya secara signifikan. Saat ini, lebih dari 70.000 pengembang menggunakan layanan ini. Selain itu, mesin inferensi LPU milik perusahaan telah diadopsi di lebih dari 19.000 aplikasi baru, yang mencerminkan minat yang kuat dalam meningkatkan kemampuan inferensi real-time untuk aplikasi AI. Lonjakan penggunaan sejak platform ini dirilis pada tanggal 1 Maret menyoroti meningkatnya permintaan akan layanan yang menawarkan latensi lebih rendah dan throughput lebih tinggi.

General Manager GroqCloud Sunny Madra mengungkapkan kegembiraannya atas penerimaan platform ini di berbagai sektor, termasuk startup, lembaga pemerintah, dan perusahaan besar. Pengembangan dan pembaruan aplikasi yang cepat menggunakan API Groq menunjukkan keinginan komunitas pengembang akan solusi inferensi AI yang efisien.

Pasar chip AI diperkirakan akan tumbuh secara signifikan, dengan nilainya diperkirakan mencapai $119,4 miliar pada tahun 2027. Chip inferensi, yang saat ini menyumbang sekitar 40% dari penggunaan chip AI, diperkirakan akan meningkat permintaannya seiring dengan semakin matangnya aplikasi AI dan semakin banyak sumber daya yang dialokasikan untuk tugas inferensi. Tren ini menunjukkan potensi pasar yang besar untuk chip dan sistem inferensi khusus.

Jonathan Ross, CEO dan pendiri Groq, menekankan pentingnya inferensi berlatensi rendah dalam aplikasi real-time, dengan mengatakan bahwa meskipun GPU berperan penting dalam pengembangan AI, Groq menyediakan sebagian besar sumber daya yang didedikasikan untuk inferensi sesuai. Mesin inferensi LPU perusahaan dirancang untuk kecepatan dan efisiensi dan disajikan sebagai alternatif GPU untuk menjalankan model bahasa skala besar dan beban kerja AI lainnya.

Pendekatan Groq terhadap desain dan arsitektur chip bertujuan untuk mengatasi keterbatasan inferensi berbasis GPU tradisional, menggunakan kompiler deterministik dan arsitektur inti tunggal yang mengandalkan SRAM untuk mempercepat akses memori. Desain ini menghilangkan kebutuhan akan pemrograman CUDA, menyederhanakan proses pengembangan dan mengurangi latensi. Selain itu, fokus Groq pada efisiensi energi dan penyederhanaan rantai pasokan, dengan semua chipnya diproduksi di Amerika Utara, memposisikannya sebagai pemain kompetitif di pasar solusi AI.