IBM mengumumkan iterasi ketiga dari seri Granitnya dengan model bahasa terbuka yang ditingkatkan dan alat terkait. Model terbaru dalam seri ini dilaporkan menyamai atau melampaui performa model terkemuka lainnya dengan ukuran serupa di berbagai benchmark. Model AI ini disesuaikan untuk pengembang dan menawarkan fitur seperti panggilan fungsi untuk mendukung berbagai aplikasi, mulai dari pembuatan teks hingga chatbot layanan pelanggan.

Rangkaian Granite 3.0 mencakup model bahasa skala besar (LLM) yang hanya berisi teks padat dan model campuran ahli (MoE) pertama perusahaan, yang dioptimalkan untuk penerapan dalam skenario latensi rendah. Model ini dilatih pada kumpulan data ekstensif lebih dari 12 triliun token untuk meningkatkan kecepatan dan kinerja. Secara khusus, model ini menggunakan decoding spekulatif, sebuah teknik canggih yang mempercepat pembuatan teks dengan mengevaluasi beberapa token potensial secara bersamaan.

Komitmen IBM terhadap keselamatan dan efisiensi tercermin dalam model Granite Granite, yang dirancang untuk menilai dan mengklasifikasikan potensi risiko dalam input dan output model. Model-model ini mengatasi permasalahan spesifik pada tugas-tugas pembuatan perluasan pencarian dan memastikan bahwa keluarannya beralasan dan relevan. Seri Granite tersedia di bawah lisensi Apache 2.0, dan sumber daya pengembang dapat diakses melalui komunitas IBM di GitHub.

Bekerja sama dengan NVIDIA, model Granite IBM kini dapat diakses melalui NVIDIA NIM, sebuah kerangka kerja layanan mikro yang memudahkan penerapan inferensi model AI. NVIDIA NIM dirancang untuk mengoptimalkan kinerja dan skalabilitas, memberikan inferensi AI throughput tinggi yang dapat beradaptasi dengan berbagai tuntutan. Perusahaan dan pengembang dapat mencoba model Granit menggunakan Kredit Cloud NVIDIA gratis dan juga dapat menerapkannya pada platform akselerasi GPU NVIDIA apa pun.