Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

MLCommons đã công bố kết quả mới nhất từ ​​bộ điểm chuẩn MLPerf Inference v4.1 để đánh giá hiệu suất của các hệ thống máy học. Bao gồm cả trung tâm dữ liệu và hệ thống biên, bộ phần mềm này nhằm mục đích cung cấp nền tảng đo điểm chuẩn công bằng và có thể tái tạo cho các mô hình AI và ML. Bản phát hành mới nhất bao gồm kết quả của sáu bộ xử lý mới, một số trong đó hiện có sẵn và một số khác có sẵn dưới dạng bản xem trước.

Bộ điểm chuẩn bao gồm 22 tổ chức tham gia và giới thiệu nhiều công nghệ hệ thống AI. Kết quả nêu bật cam kết của ngành đối với việc đo điểm chuẩn hiệu suất minh bạch, điều này rất cần thiết để đánh giá và mua sắm công nghệ AI. Những người tham gia bao gồm cả những gã khổng lồ công nghệ và các công ty khởi nghiệp, bao gồm cả những người gửi Suy luận MLPerf mới như AMD và Đám mây kim loại bền vững.

Một bổ sung đáng chú ý cho bộ suy luận MLPerf là ​​một chuẩn mực mới dựa trên kiến ​​trúc mô hình Kết hợp các chuyên gia (MoE). Cách tiếp cận này sử dụng nhiều mô hình nhỏ hoặc "chuyên gia" để xử lý các tác vụ suy luận. Điều này mang lại lợi ích về hiệu suất so với các hệ thống mô hình đơn truyền thống. Một trong những điểm chuẩn phức tạp nhất cho đến nay, điểm chuẩn MoE sử dụng mô hình Mixtral 8x7B và bao gồm các nhiệm vụ như Hỏi & Đáp, giải toán và tạo mã.

Bộ điểm chuẩn cũng bao gồm các bài kiểm tra mức tiêu thụ điện năng, với 31 kết quả được gửi cho các hệ thống hoạt động trong môi trường trung tâm dữ liệu và biên. Những thử nghiệm này nêu bật tầm quan trọng của việc hiểu rõ nhu cầu năng lượng của hệ thống AI, vì chi phí điện năng ảnh hưởng đáng kể đến chi phí vận hành tổng thể. MLCommons tiếp tục hỗ trợ ngành công nghiệp AI bằng cách cung cấp các tiêu chuẩn mở và minh bạch để giúp các bên liên quan định hướng trong bối cảnh công nghệ AI đang phát triển nhanh chóng.