MangoBoost telah mengumumkan Mango LLMBoost™, perangkat lunak pengoptimalan sistem baru yang ditujukan untuk meningkatkan kinerja pusat data AI. Perangkat lunak ini menjanjikan peningkatan efisiensi inferensi AI secara signifikan, dengan peningkatan kinerja hingga 12,6x dan pengurangan biaya 92% dibandingkan dengan mesin inferensi LLM pesaing. Mango LLMBoost™ memanfaatkan teknik canggih seperti penjadwalan sistem, pengoptimalan kernel, dan mekanisme prapengambilan unik untuk mengoptimalkan penggunaan GPU dengan memanfaatkan kuantisasi model.

Perusahaan telah menyediakan Mango LLMBoost™ di AWS Marketplace, dengan rencana untuk menyediakannya bagi layanan cloud lain dan penerapan di lokasi. Perangkat lunak ini mendukung berbagai GPU dari NVIDIA dan AMD dan dapat mengelola beberapa model AI, termasuk Llama dan Gemma, pada satu server. Mango LLMBoost™ menyederhanakan penerapan dengan API web dan API streaming, dan secara otomatis mengonfigurasi pengaturan kinerja optimal untuk perangkat keras dan model tertentu.

CEO MangoBoost Jangwoo Kim menyoroti komitmen perusahaan untuk meningkatkan kinerja dan efisiensi di tingkat sistem. Mango LLMBoost™ merupakan bukti komitmen ini, yang dibangun berdasarkan keahlian DPU MangoBoost untuk mengoptimalkan komponen perangkat keras dan perangkat lunak. Inovasi ini membantu perusahaan mewujudkan potensi penuh infrastruktur AI mereka.

Mereka yang tertarik dengan Mango LLMBoost™ dapat mengetahui informasi selengkapnya di halaman web produk. Didirikan pada tahun 2022, MangoBoost didukung oleh pendanaan lebih dari $60 juta dan tim yang terdiri dari lebih dari 100 pakar, termasuk banyak pemegang gelar PhD, dan dengan cepat menjadi terkenal di bidang efisiensi pusat data AI. Inti dari solusinya, teknologi DPU milik perusahaan dilindungi oleh lebih dari 30 paten dan dirancang untuk bekerja dengan lancar dengan berbagai produk GPU dan penyimpanan.