MLCommons, sebuah konsorsium rekayasa AI terbuka terkemuka, mengumumkan hasil baru dari dua rangkaian benchmark MLPerf™.

Yang pertama, MLPerf Inference v3.1, memberikan standar untuk mengukur performa sistem pembelajaran mesin (ML) dengan cara yang tidak bergantung pada arsitektur, representatif, dan dapat direproduksi. Kedua, MLPerf Storage v0.5 adalah rilis pertama hasil dari benchmark MLPerf Storage, yang mengevaluasi performa sistem penyimpanan dalam konteks beban kerja pelatihan ML.



Rangkaian MLPerf Inference v3.1 memiliki rekor partisipasi, dengan lebih dari 13.500 hasil kinerja dan peningkatan kinerja hingga 40%. Hasil diserahkan oleh 26 pihak berbeda, termasuk pengirim pertama kali Connect Tech, Nutanix, Oracle, dan TTA. Rangkaian ini mendukung segalanya mulai dari chatbot AI tingkat lanjut hingga fitur keselamatan kendaraan seperti penjaga jalur dan antarmuka ucapan-ke-teks dengan inferensi ML, memastikan kecepatan sistem dalam menjalankan model dalam berbagai skenario penerapan. Ukuran.

MLPerf Inference v3.1 juga memperkenalkan dua tolok ukur baru. Yang pertama adalah model bahasa skala besar (LLM) yang menggunakan model referensi GPT-J untuk merangkum artikel berita CNN. Pengujian ini memberikan hasil dari 15 pengirim berbeda, yang mencerminkan adopsi AI generatif secara cepat. Yang kedua adalah rekomendasi terbaru yang telah dimodifikasi agar lebih mewakili praktik industri. Pengujian ini menggunakan model referensi DLRM-DCNv2 dan kumpulan data yang lebih besar yang berisi 9 kiriman. Pengujian baru ini bertujuan untuk memajukan AI dengan memastikan tolok ukur standar industri mewakili tren terkini dalam adopsi AI dan memandu pelanggan, vendor, dan peneliti.