Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Google(California, Hoa Kỳ) thông báo nhu cầu về cơ sở hạ tầng suy luận AI đang tăng lên. Đặc biệt, sự gia tăng của các tác nhân AI và hỗ trợ các cửa sổ ngữ cảnh lớn đang thúc đẩy nhu cầu này. Các tổ chức cần quản lý hiệu quả các nguồn lực suy luận để cải thiện trải nghiệm người dùng đồng thời tối ưu hóa chi phí.

Nghiên cứu của công ty cho thấy việc sử dụng lưu trữ hiệu suất cao như Google Cloud Managed Lustre có thể giảm tổng chi phí sở hữu (TCO) tới 35%, cho phép các tổ chức xử lý cùng một khối lượng công việc với số lượng GPU ít hơn 43%. Bài viết trình bày chi tiết những thách thức trong việc quản lý suy luận AI và giải pháp mà Google Cloud Managed Lustre cung cấp.

Bộ nhớ đệm KV là một kỹ thuật tối ưu hóa thiết yếu cho hoạt động hiệu quả của các mô hình ngôn ngữ dựa trên Transformer (LLM) quy mô lớn. Cơ chế tự chú ý đảm bảo tất cả các phần tử trong một chuỗi được so sánh động và tức thời. Bộ nhớ đệm KV lưu trữ các vectơ khóa (K) và giá trị (V) này, giúp tăng tốc quá trình suy luận.

Sự phát triển của AI tác nhân có thể làm trầm trọng thêm thách thức trong việc quản lý các ngữ cảnh dài. AI tác nhân không chỉ dành cho việc trò chuyện mà còn để giải quyết vấn đề và hoàn thành nhiệm vụ, thu thập ngữ cảnh từ nhiều nguồn kỹ thuật số khác nhau, làm tăng kích thước bộ nhớ đệm KV.

Google khuyến nghị Google Cloud Managed Lustre làm giải pháp lưu trữ cho bộ nhớ đệm KV ngoài. Giải pháp này lý tưởng cho các khối lượng công việc suy luận AI quy mô lớn và có thể tăng thông lượng trên mỗi bộ tăng tốc đồng thời giảm TCO. Các thử nghiệm của Google đã chứng minh rằng việc sử dụng Managed Lustre cải thiện đáng kể hiệu suất suy luận.