Groq, penyedia solusi kecerdasan buatan (AI) terkemuka, hari ini membuat pengumuman inovatif. Perusahaan mencapai kecepatan yang mengesankan dengan menjalankan model bahasa besar (LLM), Llama-2 70B, pada LPU Groq yang baru dikembangkan dengan kecepatan luar biasa lebih dari 100 token per detik (T/s) per pengguna berhasil mencapai prestasi tersebut. Kategori yang ditentukan untuk arsitektur silikon Groq. Pencapaian ini menarik perhatian para pakar industri, termasuk Daniel Newman, Analis Utama dan Mitra Pendiri Futurum Group. Newman menyadari meningkatnya permintaan akan solusi AI alternatif dan menyoroti keunggulan Groq dalam hal kekuatan, kinerja, dan kemudahan penggunaan. Groq menjalankan Llama-2 70B dengan sangat cepat dan tersedia, menjadikannya alternatif yang layak untuk inferensi LLM berskala. Kemampuan Groq untuk mengkompilasi dan menyebarkan LLM baru dalam hitungan hari menggunakan kompiler tanpa kernel sungguh mengesankan. Hal ini memungkinkan sistem Unit Pemrosesan Bahasa Groq menghasilkan pengalaman pengguna tercepat untuk respons bahasa yang dihasilkan, melebihi 100T/s. Untuk menempatkan tingkat kinerja ini dalam perspektif, pengguna dapat membuat siaran pers keseluruhan hanya dalam tujuh detik atau esai 4.000 kata hanya dalam waktu satu menit. Groq tidak hanya menawarkan latensi sangat rendah dan kinerja real-time, tetapi juga memberikan kinerja per watt yang lebih baik dibandingkan dengan sistem berbasis prosesor grafis. Jonathan Ross, CEO dan Pendiri Groq, menyatakan kebanggaannya atas pencapaian timnya dan mengatakan bahwa Groq sekarang berada di antara startup AI dan penyedia mapan dengan lebih dari 100 token per detik per pengguna. Llama-2 70B Perusahaan menekankan bahwa ini adalah perusahaan pertama untuk mencapai tujuan ini. . Ross juga meyakinkan pelanggan bahwa mereka dapat mengharapkan kinerja lebih dari perangkat keras saat ini, menjanjikan wawasan dan interaksi real-time untuk masa depan kinerja Groq AI. GroqLabs, platform tempat Groq menyelenggarakan demo produk dan desain referensi, memamerkan Llama-2 70B LLM Meta AI untuk dinikmati pelanggan. Di masa lalu, GroqLabs telah berhasil mendemonstrasikan model sumber terbuka lainnya seperti Llama 13B dan 65B, Vicuna 13B dan 33B pada sistem Unit Pemrosesan Bahasa Groq yang diperluas. Sistem ini terdiri dari hingga delapan cluster komputasi GroqRack, yang secara bersamaan memanfaatkan lebih dari 500 prosesor GroqChip pada komputasi silikon 14nm. Proses produksi Groq yang dipercepat memungkinkan model diterapkan dalam skala besar tanpa penundaan pengembangan yang lama, sehingga menghemat waktu dan sumber daya pelanggan yang berharga. Di masa depan, masa depan solusi AI generatif akan berbasis bahasa. LLM menangani aplikasi yang lebih luas di luar chatbots dan analisis dokumen. Model terobosan ini akan merevolusi industri seperti ilmu hayati, jasa keuangan, media digital, pembuatan konten, dan pemrograman. Pada akhirnya, mereka akan menyatukan umat manusia dengan cara yang belum pernah dibayangkan sebelumnya. Mark Heaps, wakil presiden merek dan kreatif di Groq, menyamakan antara internet di tahun 90-an dan permintaan saat ini akan interaksi real-time dengan data dan perangkat. Untuk memenuhi harapan ini, kami menekankan pentingnya meningkatkan kinerja AI. Groq berada di garis depan dalam mengubah aturan main sehingga pengguna tidak lagi harus menoleransi apa pun selain interaksi real-time dengan sistem AI.