Menurut artikel Arthur, perusahaan tersebut telah berdedikasi untuk mengembangkan alat pemantauan model bahasa besar (LLM) yang memungkinkan perusahaan mengintegrasikan teknologi AI ke dalam operasi mereka dengan lancar. Yang baru dalam rangkaian alat Arthur adalah Arthur Bench, alat evaluasi sumber terbuka yang dirancang untuk membandingkan LLM, perintah, dan hyperparameter model teks yang dihasilkan. Bench memungkinkan tim untuk mendapatkan pemahaman mendalam tentang perbedaan antara penyedia LLM, strategi dorongan dan penguatan, dan rezim pelatihan khusus.
Bench memungkinkan perusahaan untuk membuat keputusan berdasarkan wawasan berdasarkan data ketika memasukkan LLM ke dalam alur kerja mereka. Inilah bagaimana Arthur Bench dapat menguntungkan bisnis Anda.
1. Pemilihan dan validasi model: Lanskap AI terus berkembang, dan penting bagi perusahaan untuk selalu mengikuti perkembangan terkini. Arthur Bench memungkinkan perusahaan untuk membandingkan opsi LLM yang berbeda menggunakan metrik yang konsisten, memungkinkan mereka memilih model terbaik untuk aplikasi spesifik mereka.
2. Optimalkan anggaran dan privasi: Tidak semua aplikasi memerlukan LLM yang mutakhir dan mahal. Dalam beberapa kasus, model AI yang lebih hemat biaya dapat memberikan hasil yang sama memuaskannya. Misalnya, untuk aplikasi yang menghasilkan respons teks sederhana terhadap pertanyaan pelanggan, model yang lebih murah mungkin sudah cukup. Selain itu, dengan memanfaatkan model tertentu dan menerapkannya secara internal, perusahaan dapat memperoleh kontrol lebih besar terhadap privasi data.
3. Penerjemahan tolok ukur akademis ke dalam kinerja dunia nyata: Mengevaluasi LLM berdasarkan tolok ukur akademis standar seperti keadilan dan bias bisa jadi sulit jika dikaitkan dengan skenario dunia nyata. Arthur Bench memungkinkan perusahaan menguji dan membandingkan kinerja berbagai model secara kuantitatif, menggunakan serangkaian metrik standar untuk memberikan evaluasi yang akurat dan konsisten. Selain itu, perusahaan dapat mengonfigurasi tolok ukur yang disesuaikan dengan kebutuhan dan prioritas spesifik mereka.
Selain Arthur Bench, Arthur bersemangat memperkenalkan Generative Assessment Project (GAP). Inisiatif penelitian ini mengurutkan kekuatan dan kelemahan model bahasa dari para pemimpin industri seperti OpenAI, Anthropic, dan Meta. Sebagai bagian dari komitmennya untuk menjadikan LLM tersedia bagi semua orang, perusahaan akan terus membagikan temuannya tentang perbedaan perilaku dan praktik terbaik melalui GAP. Adam Wenchel, salah satu pendiri dan CEO Arthur, menekankan pentingnya memahami nuansa kinerja antar LLM.