MLCommons, bekerja sama dengan AI ​​Verify Foundation, telah memperkenalkan pembaruan untuk AILuminate yang menyempurnakan tolok ukur keamanan AI untuk Prancis. Pengembangan yang diumumkan di Paris AI Action Summit ini merupakan langkah besar menuju pembentukan standar universal untuk keamanan AI. Pembaruan ini hadir pada saat pembeli AI di seluruh dunia ingin menilai dan mengurangi risiko yang terkait dengan produk AI di tengah kerangka regulasi yang terus berkembang.

Rebecca Weiss, Direktur Eksekutif MLCommons, menyoroti kebutuhan yang semakin meningkat akan cara yang andal untuk membandingkan risiko model AI karena perusahaan di seluruh dunia mengintegrasikan AI ke dalam produk mereka. Perluasan kemampuan bahasa AILuminate bertujuan untuk menyediakan pengembang dan pembeli AI dengan alat pembanding yang independen dan menyeluruh yang dapat menginformasikan praktik industri yang lebih aman.

Model AILuminate dalam bahasa Prancis, seperti model bahasa Inggrisnya, mengevaluasi Large Language Models (LLM) menggunakan lebih dari 24.000 pertanyaan tes dalam bahasa Prancis di berbagai kategori risiko, termasuk kekerasan dan privasi. Model ini tidak memberikan akses awal kepada LLM untuk pertanyaan atau model evaluasi. Pendekatan ini memastikan tingkat ketelitian metodologis yang biasanya tidak ditemukan dalam penelitian akademis standar, menyediakan analisis empiris yang dapat dipercaya oleh industri dan akademisi.

Peter Mattsson, pendiri dan presiden MLCommons, menekankan tantangan universal dalam membangun AI yang aman dan pentingnya respons global yang terkoordinasi. Peluncuran model Prancis ini merupakan komitmen MLCommons untuk mengkatalisasi solusi yang dapat diterapkan secara global terhadap masalah keamanan AI dengan tetap mempertimbangkan keberagaman bahasa, budaya, dan nilai. Dikembangkan oleh kelompok kerja yang terdiri dari para peneliti AI dan pakar industri terkemuka, AILuminate Benchmark merupakan bagian dari upaya kolaboratif untuk menstandardisasi keamanan AI. Dengan benchmark yang saat ini tersedia dalam bahasa Inggris dan Prancis, dengan rencana untuk memperluas ke bahasa Mandarin dan Hindi, MLCommons terus memimpin dalam benchmark AI dan standar keamanan. Untuk informasi lebih lanjut tentang MLCommons dan AILuminateBenchmark, lihat situs web organisasi tersebut.