Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Khi trí tuệ nhân tạo (AI) tiếp tục phát triển, các tổ chức đang phải đối mặt với thách thức mở rộng cơ sở hạ tầng AI để đáp ứng các quy trình làm việc ngày càng phức tạp. Khi các mô hình AI đạt đến hàng nghìn tỷ tham số và cửa sổ ngữ cảnh mở rộng lên hàng triệu token, nhu cầu về các giải pháp bộ nhớ và lưu trữ hiệu quả đang ở mức cao nhất mọi thời đại. Các tác nhân AI yêu cầu bộ nhớ dài hạn để duy trì ngữ cảnh trong suốt các tương tác, điều mà theo truyền thống được quản lý bởi bộ nhớ đệm khóa-giá trị (KV). Tuy nhiên, khi nhu cầu về dung lượng bộ nhớ đệm KV tăng lên, áp lực lên các hệ thống phân cấp bộ nhớ hiện có cũng tăng theo.

Nhu cầu ngày càng tăng để cân bằng bộ nhớ băng thông cao (HBM) của GPU với các giải pháp lưu trữ đa năng dẫn đến tăng mức tiêu thụ điện năng và chi phí, cũng như việc sử dụng không hiệu quả các tài nguyên GPU đắt tiền. Để giải quyết những vấn đề này, một nền tảng mới được thiết kế để cải thiện khả năng mở rộng của cơ sở hạ tầng suy luận của các tổ chức sử dụng AI đã được giới thiệu. Nền tảng này tái cấu trúc cơ sở hạ tầng AI thành các cụm tính toán chứa GPU, mạng Ethernet và bộ nhớ lưu trữ, đóng vai trò là các khối xây dựng nền tảng của nhà máy AI.

Bên trong các cụm này, cơ sở hạ tầng lưu trữ chuyên dụng đáp ứng nhu cầu đặc thù của suy luận quy mô gigabit, cung cấp một tầng bộ nhớ ngữ cảnh mới bổ sung cho lưu trữ mạng truyền thống. Lớp này được tối ưu hóa cho các ngữ cảnh suy luận có thể tái sử dụng, nhạy cảm với độ trễ và được chuẩn bị sẵn để cải thiện việc sử dụng GPU. Kết quả là số lượng token mỗi giây nhiều hơn đáng kể và hiệu quả năng lượng cao hơn gấp năm lần so với các phương pháp lưu trữ truyền thống.

Việc giới thiệu nền tảng này đánh dấu một sự thay đổi đáng kể trong cách quản lý dữ liệu gốc AI, đặt trọng tâm vào hiệu quả và hiệu suất. Bằng cách tạo ra một lớp bộ nhớ ngữ cảnh chuyên dụng, nền tảng này cho phép tái sử dụng bộ nhớ đệm KV hiệu quả, giảm nhu cầu về các lớp lưu trữ đa năng tốn kém và tiêu thụ nhiều năng lượng. Sự đổi mới này cho phép các tổ chức đáp ứng các yêu cầu của kỷ nguyên tác nhân, đạt được thông lượng cao hơn và khả năng tái sử dụng bộ nhớ đệm KV có thể mở rộng trong khi tối ưu hóa tổng chi phí sở hữu (TCO).