Novita AI telah menjalin kemitraan strategis dengan vLLM, pemimpin dalam mesin inferensi sumber terbuka untuk model bahasa besar. Kemitraan ini bertujuan untuk membantu mendorong inovasi dalam AI dan mengembangkan komunitas sumber terbuka. Algoritme PagedAttention milik vLLM, yang dikenal untuk mengoptimalkan kinerja model bahasa besar, kini akan tersedia bagi para pengembang, menyediakan pendekatan yang lebih hemat memori untuk aplikasi AI di berbagai platform sekaligus mengurangi biaya.

Junyu Huang, salah satu pendiri dan COO Novita AI, mengungkapkan harapannya yang kuat bahwa kemitraan ini dapat memberikan kontribusi yang signifikan untuk meningkatkan efisiensi penerapan AI. Novita AI menyediakan sumber daya komputasi berkinerja tinggi untuk membantu vLLM terus meningkatkan peralatannya. Dukungan ini diharapkan dapat lebih meningkatkan kemampuan vLLM dan memungkinkan para pengembang untuk mengimplementasikan model bahasa besar secara lebih efektif.

Melalui kemitraan ini, pengguna platform Novita AI akan dapat memperoleh manfaat dari kemampuan inferensi canggih milik vLLM, yang menyederhanakan proses pengembangan dan mempercepat penerapan solusi AI. Huang melihat ini sebagai awal perjalanan untuk mempercepat kemajuan AI dan menyediakan sumber daya mutakhir yang akan berdampak lebih besar pada pengembang.

Baik Novita AI maupun vLLM berkomitmen untuk mengembangkan lingkungan yang mendukung penggunaan AI sumber terbuka. Dengan menggabungkan platform cloud tangguh milik Novita AI dengan mesin inferensi efisien milik vLLM, kami bertujuan untuk menyediakan perangkat yang dibutuhkan untuk solusi AI yang berdampak dan merangsang ekosistem yang mendukung inovasi. Huang melihat kemitraan ini sebagai komitmen bersama untuk memperkuat AI sumber terbuka dan memperluas peluang bagi pengembang di seluruh dunia.