FriendliAI mengumumkan Titik Akhir Tanpa Server Friendli baru, sebuah layanan yang dirancang untuk memudahkan integrasi model AI generatif ke dalam berbagai aplikasi. Produk ini bertujuan untuk menyederhanakan proses pengembangan dengan menghilangkan kebutuhan pengguna untuk mengelola infrastruktur yang biasanya terkait dengan model tersebut. Layanan ini menawarkan kompatibilitas dengan model yang banyak digunakan seperti Llama 2, CodeLlama, Mistral, dan Stable Diffusion, memberi Anda kendali penuh atas pemanfaatan sumber daya.

Perusahaan mengatakan akan memperkenalkan model penetapan harga yang kompetitif untuk Titik Akhir Tanpa Server, dengan mengenakan biaya $0,2 per juta token untuk model Llama 2 13B dan $0,8 per juta token untuk model Llama 2 70B. FriendliAI juga mengklaim bahwa layanannya memberikan respons kueri 2 hingga 4 kali lebih cepat dibandingkan solusi terkemuka lainnya. Efisiensi ini disebabkan oleh mesin Friendli miliknya, yang dikatakan secara signifikan mengurangi jumlah GPU yang dibutuhkan untuk beroperasi, sehingga mengurangi biaya dan meningkatkan kinerja.

FriendliAI mengatakan pihaknya juga menawarkan endpoint khusus Friendli untuk klien dengan kebutuhan spesifik, menyediakan instance GPU berbasis cloud yang disesuaikan dengan kebutuhan masing-masing. Selain itu, perusahaan juga melayani pengguna yang lebih memilih solusi dalam container dengan Friendli Container yang tersedia melalui Docker. Berbagai pilihan ini ditujukan untuk mengakomodasi beragam proyek AI generatif, memastikan pengguna dapat menemukan solusi yang tepat untuk tujuan unik mereka.