MLCommons memperkenalkan AILuminate, uji keamanan perintis untuk model bahasa skala besar (LLM), yang menyediakan serangkaian nilai keamanan komprehensif untuk LLM yang banyak digunakan. Dibuat melalui kemitraan dengan peneliti AI dan pakar industri, Tolok Ukur Keamanan AI ini dimaksudkan untuk memberikan analisis ilmiah dan independen mengenai risiko LLM dan menginformasikan proses pengambilan keputusan perusahaan Masu. Pendiri organisasi tersebut, Peter Mattson, menekankan perlunya pengujian AI yang terstandarisasi, serupa dengan penilaian keselamatan yang digunakan untuk teknologi kompleks lainnya, untuk memandu pengembangan AI yang bertanggung jawab.

Tolok ukur AIluminate secara ketat mengevaluasi LLM menggunakan lebih dari 24.000 perintah pengujian di 12 kategori bahaya. Model tersebut tidak memiliki pengetahuan sebelumnya tentang perintah atau akses ke model pemeringkatan. Pendekatan ini memastikan tingkat ketelitian metodologis yang sering kali kurang dalam penelitian akademis standar dan memberikan analisis empiris yang dapat dipercaya oleh industri dan akademisi. Rebecca Weiss, direktur eksekutif MLCommons, menyoroti upaya organisasi tersebut untuk menetapkan dasar global mengenai risiko dan kepercayaan AI serta menjadikan AI lebih transparan dan dapat dipercaya.

Dikembangkan oleh Kelompok Kerja Risiko dan Keandalan AI MLCommons, yang mencakup peneliti AI dari universitas ternama dan pakar teknis dari perusahaan teknologi terkemuka, AIluminate mewakili upaya kolaboratif untuk menstandardisasi keselamatan AI. Kelompok kerja ini, yang akan memperbarui tolok ukur seiring berkembangnya teknologi AI, didukung oleh para pemimpin industri dan akademisi yang menyadari pentingnya tolok ukur keselamatan bersama. Camille Francois, seorang profesor di Universitas Columbia, mengatakan AIluminate akan mendorong kolaborasi transparan dan penelitian berkelanjutan terhadap tantangan keselamatan AI.

Proses pengembangan AIluminate mengambil pendekatan global, multi-pemangku kepentingan dan diakui ketelitian dan komprehensifnya. Percy Liang dari Universitas Stanford dan Navrina Singh dari Credo AI mengakui peran tolok ukur dalam membangun peringkat keselamatan yang andal dan menetapkan landasan penting bagi standar keselamatan AI. Dengan rilis awal dalam bahasa Inggris, MLCommons berencana untuk memperluas ketersediaan AIluminate ke bahasa Prancis, Tiongkok, dan Hindi pada awal tahun 2025, yang mencerminkan komitmennya terhadap pendekatan global kolaboratif terhadap keselamatan AI. Untuk informasi lebih lanjut tentang MLCommons dan AILuminateBenchmark, kunjungi situs web organisasi.