MLCommons mengumumkan hasil terbaru dari rangkaian benchmark MLPerf Inference v4.1 yang mengevaluasi kinerja sistem pembelajaran mesin. Mencakup pusat data dan sistem edge, rangkaian ini bertujuan untuk menyediakan platform benchmarking yang adil dan dapat direproduksi untuk model AI dan ML. Rilis terbaru mencakup hasil enam prosesor baru, beberapa di antaranya saat ini tersedia dan lainnya tersedia sebagai pratinjau.

Paket benchmark ini mencakup 22 organisasi yang berpartisipasi dan menampilkan beragam teknologi sistem AI. Hasil penelitian ini menyoroti komitmen industri terhadap tolok ukur kinerja yang transparan, yang penting dalam mengevaluasi dan pengadaan teknologi AI. Pesertanya mencakup raksasa teknologi dan startup, termasuk pengirim Inferensi MLPerf baru seperti AMD dan Sustainable Metal Cloud.

Tambahan penting pada rangkaian Inferensi MLPerf adalah tolok ukur baru berdasarkan arsitektur model Mix of Experts (MoE). Pendekatan ini menggunakan beberapa model kecil, atau "pakar", untuk menangani tugas inferensi. Hal ini memberikan manfaat kinerja dibandingkan sistem model tunggal tradisional. Salah satu yang paling kompleks hingga saat ini, tolok ukur Kementerian Lingkungan Hidup menggunakan model Mixtral 8x7B dan mencakup tugas-tugas seperti tanya jawab, pemecahan masalah matematika, dan pembuatan kode.

Rangkaian benchmark juga mencakup pengujian konsumsi daya, dengan 31 hasil dikirimkan untuk sistem yang beroperasi di lingkungan pusat data dan edge. Pengujian ini menyoroti pentingnya memahami kebutuhan energi sistem AI, karena biaya listrik berdampak signifikan terhadap biaya operasional secara keseluruhan. MLCommons terus mendukung industri AI dengan memberikan tolok ukur yang terbuka dan transparan untuk membantu para pemangku kepentingan menavigasi lanskap teknologi AI yang berkembang pesat.