Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

10 mô hình mã nguồn mở thông minh hàng đầu, bao gồm Kimi K2 Thinking và DeepSeek-R1, sử dụng kiến trúc Hỗn hợp Chuyên gia (MoE), mô phỏng hoạt động kích hoạt vùng tác vụ cụ thể trong não người. Kiến trúc này cho phép tạo mã thông báo hiệu quả bằng cách chỉ kích hoạt các "chuyên gia" cần thiết cho mỗi mã thông báo AI, cải thiện hiệu suất mà không làm tăng đáng kể tải tính toán.

Hệ thống GB200 NVL72 của NVIDIA đóng vai trò quan trọng trong việc mở rộng quy mô các mô hình MoE, cung cấp các tối ưu hóa phần cứng và phần mềm giúp tăng cường hiệu suất và hiệu quả cao. Ví dụ, mô hình Kimi K2 Thinking đã đạt được hiệu suất cải thiện gấp 10 lần trên GB200 NVL72 so với các hệ thống trước đó, chứng minh tính hiệu quả của nền tảng suy luận toàn khối của NVIDIA trong việc tối ưu hóa kiến trúc MoE.

Mặc dù việc mở rộng quy mô các mô hình MoE thường gặp nhiều thách thức do tính phức tạp và quy mô lớn, hệ thống GB200 NVL72 của NVIDIA đã giải quyết những thách thức này thông qua thiết kế đồng bộ cực đại. Hệ thống này có 72 GPU được kết nối với nhau, cho phép xử lý song song ở cấp độ chuyên gia và giảm áp lực băng thông bộ nhớ. Thiết kế này cải thiện đáng kể khả năng giao tiếp giữa các chuyên gia và nâng cao hiệu suất tổng thể.

Các nhà cung cấp dịch vụ đám mây hàng đầu và đối tác đám mây của NVIDIA đã triển khai GB200 NVL72 và đang gặt hái những lợi ích trên phạm vi toàn cầu. Các công ty như CoreWeave và DeepL đang tận dụng hệ thống này để cải thiện hiệu suất và hiệu suất của các mô hình AI. Những tiến bộ của NVIDIA trong việc mở rộng các mô hình MoE đã thiết lập một tiêu chuẩn mới cho khả năng AI, hứa hẹn một tương lai mà các hệ thống AI vừa mạnh mẽ vừa hiệu quả.