Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Nhu cầu về cơ sở hạ tầng suy luận AI dự kiến ​​sẽ tăng nhanh hơn so với đầu tư vào đào tạo các mô hình AI, nhờ trải nghiệm người dùng được cải thiện và sự xuất hiện của AI tiên tiến hơn. Các tổ chức đang tập trung vào việc quản lý hiệu quả các nguồn lực suy luận để cân bằng giữa việc cải thiện trải nghiệm người dùng với việc quản lý chi phí hiệu quả.

Các nghiên cứu gần đây đã chỉ ra rằng việc tận dụng bộ nhớ đệm khóa-giá trị ngoài (bộ nhớ đệm KV) trong giải pháp lưu trữ hiệu suất cao như Google Cloud Managed Lustre có thể giảm đáng kể tổng chi phí sở hữu (TCO) của công ty. Bằng cách chuyển một số tính toán sang I/O, các công ty có thể xử lý cùng một khối lượng công việc với số lượng GPU ít hơn đáng kể, có khả năng giảm TCO tới 35%.

Bộ nhớ đệm KV đóng vai trò quan trọng trong giai đoạn suy luận của các mô hình ngôn ngữ quy mô lớn (LLM) dựa trên Transformer, giúp ngăn ngừa các phép tính dư thừa bằng cách lưu trữ các vectơ khóa (K) và giá trị (V). Việc tối ưu hóa này đặc biệt quan trọng để quản lý suy luận AI ngữ cảnh dài, vốn có thể đòi hỏi rất nhiều tài nguyên cho quá trình tính toán trước. Việc sử dụng bộ lưu trữ mở rộng hiệu suất cao như Google Cloud Managed Lustre là điều cần thiết để quản lý các ngữ cảnh lớn như vậy và sử dụng hiệu quả các bộ tăng tốc.

Xét về tổng chi phí sở hữu (TCO), các giải pháp lưu trữ đệm KV dựa trên lưu trữ như Managed Lustre mang lại lợi ích đáng kể so với các giải pháp chỉ dựa trên bộ nhớ. Phân tích cho thấy với cấu hình phù hợp và cải tiến phần mềm, Managed Lustre có thể cải thiện hiệu suất suy luận và giảm 43% số lượng bộ tăng tốc cần thiết, giúp tiết kiệm chi phí trực tiếp cho các tổ chức triển khai khối lượng công việc suy luận AI quy mô lớn.