Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

MemVerge đã công bố sự hợp tác với Micron để nâng cao hiệu suất của các mô hình ngôn ngữ lớn bằng cách tích hợp phân lớp bộ nhớ CXL thông minh. Sự hợp tác này nhằm mục đích giảm bớt tình trạng tắc nghẽn do hạn chế về dung lượng GPU HBM. Giải pháp mới đã được công bố tại sự kiện GTC và cho thấy những cải tiến đáng kể về tốc độ xử lý và sử dụng GPU.

Giám đốc điều hành MemVerge Charles Fan nhấn mạnh sự cần thiết phải duy trì luồng dữ liệu đến GPU để tăng hiệu suất LLM một cách hiệu quả về mặt chi phí. Một cuộc trình diễn chung với Micron đã sử dụng máy chủ Supermicro để giới thiệu những lợi ích của bộ nhớ phân cấp. Điều này làm tăng đáng kể hiệu suất GPU, giảm thời gian cần thiết cho một số tác vụ tính toán nhất định xuống một nửa.

Sự hợp tác này đã mang lại những tiến bộ đáng kể trong quản lý khối lượng công việc AI, mang đến cho các tổ chức cơ hội cải thiện hiệu suất và hiệu quả. Bằng cách tận dụng bộ nhớ CXL và phân lớp phần mềm thông minh, doanh nghiệp có thể tăng tốc các sáng kiến ​​do AI điều khiển. Raj Narasimhan của Micron đã nhấn mạnh giá trị của mô-đun bộ nhớ CXL trong việc tăng thông lượng GPU cho các ứng dụng AI.

Để tìm hiểu thêm về những nỗ lực chung của MemVerge, Micron và Supermicro cũng như tiềm năng của bộ nhớ CXL cho khối lượng công việc AI, các bên quan tâm có thể truy cập trang web MemVerge. MemVerge tiếp tục đổi mới phần mềm điện toán bộ nhớ lớn với mục tiêu tối ưu hóa hiệu suất và chi phí cho khối lượng công việc sử dụng nhiều dữ liệu cả trên đám mây và tại chỗ.