MLCommons telah mengumumkan MLPerf Client v1.0, sebuah tolok ukur baru untuk mengevaluasi performa model bahasa berskala besar pada sistem klien seperti PC. Rilis ini memperluas jangkauan metrik performa AI untuk memenuhi kebutuhan pasar PC AI yang berkembang pesat. Tolok ukur ini kini mencakup lebih banyak model, termasuk Llama 2 7B Chat dan Phi 4 Reasoning 14B, untuk merepresentasikan beragam aplikasi dunia nyata dengan lebih baik.

Kemampuan pembandingan telah ditingkatkan dengan penambahan kategori prompt untuk analisis kode dan ringkasan konteks yang panjang, yang mencerminkan tugas-tugas yang semakin penting bagi pengembang dan pengguna berpengalaman. MLPerf Client v1.0 juga memperluas dukungan perangkat keras untuk mencakup beragam GPU dan NPU dari produsen terkemuka, termasuk AMD, Intel, NVIDIA, dan Qualcomm Technologies, yang memastikan kompatibilitas yang luas.

MLPerf Client v1.0 dilengkapi antarmuka grafis yang ramah pengguna serta antarmuka baris perintah untuk otomatisasi. GUI ini memfasilitasi pemantauan sumber daya sistem dan perbandingan kinerja secara real-time, memenuhi kebutuhan pengguna umum maupun pengembang. Benchmark ini merupakan upaya kolaboratif antara para pelaku industri besar dan tersedia untuk diunduh gratis, dengan tujuan untuk berkembang seiring dengan ekosistem PC AI.

Ramesh Jaladi, salah satu ketua Kelompok Kerja Klien MLPerf, menekankan pentingnya MLPerf Client v1.0 sebagai standar tepercaya untuk mengevaluasi kapabilitas AI pada perangkat konsumen. Benchmark ini diharapkan menjadi sumber tepercaya bagi OEM, produsen semikonduktor, dan pengguna akhir. MLCommons melanjutkan misinya untuk meningkatkan teknologi pembelajaran mesin melalui benchmark dan praktik terbaik, dan MLPerf Client v1.0 merupakan tambahan terbaru dalam rangkaian perangkat MLCommons.