MLCommons telah meluncurkan Kelompok Kerja Klien MLPerf baru yang bertujuan untuk menciptakan tolok ukur pembelajaran mesin untuk sistem klien, termasuk desktop dan laptop. Langkah ini merupakan respons terhadap meningkatnya integrasi AI ke dalam komputasi sehari-hari, dengan fokus pada pengukuran kinerja akselerasi AI dalam sistem ini. Tolok ukur ini mencakup berbagai sistem operasi, yang mencerminkan beragam ekosistem komputasi klien.

Organisasi ini berfokus pada pengembangan tolok ukur yang mencerminkan skenario dunia nyata dan pengalaman pengguna. Tolok ukur pertama akan fokus pada evaluasi kinerja model bahasa skala besar, khususnya Llama 2 LLM. Pengalaman yang diperoleh dari menggabungkan beban kerja berbasis Llama 2 ke dalam rangkaian benchmark MLCommons yang ada akan membantu dalam pengembangan benchmark sistem klien baru ini.

MLCommons telah mendapatkan dukungan dari para pemain industri utama dalam Kelompok Kerja Klien MLPerf, termasuk perwakilan dari AMD, Arm, ASUSTeK, Dell Technologies, Intel, Lenovo, Microsoft, NVIDIA, Qualcomm Technologies, dan banyak lagi. Grup ini akan diketuai bersama oleh Ramesh Jaladi dari Intel, Yannis minadakis dari Microsoft, dan Jani Joki dari NVIDIA, dengan Vinesh Sukumar dari Qualcomm memimpin gugus tugas pengembangan benchmark.

Organisasi mengundang semua pihak yang berkepentingan untuk berkontribusi pada upaya Kelompok Kerja Klien MLPerf. Untuk informasi lebih lanjut atau untuk bergabung dalam upaya ini, Anda dapat mengunjungi halaman kelompok kerja atau menghubungi ketua bersama melalui alamat email yang disediakan.