SAN FRANCISCO, 29 Mei 2025 – MLCommons mengumumkan perluasan tolok ukur AILuminate-nya, yang bertujuan untuk memperkuat pengukuran keandalan AI di berbagai model, bahasa, dan alat. Perusahaan ini bekerja sama dengan NASSCOM, asosiasi industri teknologi terkemuka di India, untuk menghadirkan tolok ukur keandalan AI ini ke pasar Asia Selatan. Upaya ini mencakup pengembangan tolok ukur bahasa Hindi yang disesuaikan dengan kebutuhan India dan pengenalan nilai keandalan baru untuk berbagai model bahasa besar (LLM) yang lebih luas.

Kemitraan dengan NASSCOM merupakan bagian dari strategi global MLCommons untuk menetapkan tolok ukur AI yang terstandarisasi. Pendekatan ini serupa dengan kolaborasi yang ada dengan AI Verify Foundation Singapura dan Universitas Nasional Singapura, yang telah membuat langkah besar dalam tolok ukur AI di Asia Timur. Tolok ukur baru akan dirancang bersama dengan masukan dari para pakar industri, pembuat kebijakan, dan akademisi untuk membuatnya andal dan relevan bagi kawasan tersebut.

Selain kemitraan dengan NASSCOM, MLCommons akan meluncurkan nilai keandalan baru untuk rangkaian LLM yang diperbarui. Nilai-nilai ini akan ditentukan berdasarkan respons model terhadap berbagai perintah pengujian. Tidak diperlukan pengetahuan sebelumnya tentang perintah atau akses ke model penilaian, yang memastikan ketelitian dalam metodologi. Nilai yang diperbarui dimaksudkan untuk membantu perusahaan menilai risiko saat mengintegrasikan chatbot dan alat berbasis AI lainnya ke dalam produk mereka.

MLCommons, yang dikenal dengan tolok ukur MLPerf, terus memimpin dalam tolok ukur AI sebagai konsorsium rekayasa terbuka. Dengan lebih dari 125 anggota, termasuk penyedia teknologi global dan peneliti akademis, MLCommons berkomitmen untuk meningkatkan AI melalui rekayasa kolaboratif, tolok ukur, kumpulan data publik, dan penilaian risiko dan keandalan AI.