Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Việc triển khai các mô hình ngôn ngữ lớn (LLM) trong các ứng dụng AI đã dẫn đến sự phát triển của các khung suy luận phân tán giúp tăng cường khả năng mở rộng và giảm latency. Các khung này sử dụng nhiều kỹ thuật khác nhau như phân tách phục vụ, tải bộ nhớ đệm KV và song song hóa chuyên gia rộng để quản lý tải tính toán trên nhiều GPU và nút. Ví dụ, phân tách phục vụ tách biệt các giai đoạn điền trước và giải mã trên các GPU khác nhau, đòi hỏi việc truyền dữ liệu hiệu quả giữa chúng. Tải bộ nhớ đệm KV tận dụng bộ nhớ để xử lý việc mở rộng bộ nhớ đệm, đặc biệt là trong các khối lượng công việc AI nhiều lượt, bằng cách truy xuất các kết quả trước đó từ bộ nhớ thay vì tính toán lại chúng. Song song hóa chuyên gia rộng liên quan đến việc phân phối 'chuyên gia' trên các GPU, yêu cầu giao tiếp có độ trễ cực thấp để truyền các kết quả trung gian.

Tính chất năng động của các dịch vụ này, có thể hoạt động liên tục, đòi hỏi một hệ thống có khả năng thích ứng với sự thay đổi mức sử dụng GPU dựa trên nhu cầu người dùng và đảm bảo khả năng phục hồi khi xảy ra sự cố. Điều này bao gồm khả năng hoạt động ở thông lượng giảm trong thời gian phục hồi. Ngoài ra, sự không đồng nhất của phần cứng về bộ nhớ, lưu trữ và khả năng tính toán đòi hỏi một thư viện có thể thống nhất các công nghệ truyền thông và lưu trữ, tạo điều kiện thuận lợi cho việc di chuyển dữ liệu hiệu quả trên các hệ thống phân cấp bộ nhớ và lưu trữ khác nhau.

Để giải quyết những thách thức này, Thư viện Truyền tải Suy luận NVIDIA (NIXL) đã được giới thiệu như một thư viện di chuyển dữ liệu mã nguồn mở, không phụ thuộc vào nhà cung cấp. NIXL được thiết kế để hỗ trợ các khung suy luận AI phức tạp bằng cách cung cấp API thống nhất cho việc truyền dữ liệu giữa các công nghệ bộ nhớ và lưu trữ khác nhau. Nó hỗ trợ một loạt các công nghệ bao gồm RDMA, mạng do GPU khởi tạo và các tùy chọn lưu trữ đám mây nâng cao. NIXL đã được tích hợp vào một số khung suy luận AI và tương thích với nhiều dịch vụ đám mây khác nhau, giúp tăng cường tính linh hoạt và hiệu suất của nó.

Kiến trúc của NIXL bao gồm một tác nhân truyền tải cốt lõi và hỗ trợ nhiều plugin phụ trợ truyền tải thông qua API. Nó cung cấp một quy trình hợp lý để thiết lập truyền tải dữ liệu giữa các tác nhân, bao gồm đăng ký bộ nhớ, trao đổi siêu dữ liệu, tạo và quản lý yêu cầu truyền tải. Thiết kế của thư viện cho phép mở rộng quy mô động và đảm bảo chi phí tối thiểu, cho phép chồng chéo hiệu quả giữa giao tiếp và tính toán. NIXL cũng bao gồm các công cụ đo hiệu năng như NIXLBench và KVBench, hỗ trợ xác minh và tối ưu hóa hệ thống. Thư viện có sẵn trên GitHub và hỗ trợ môi trường Linux, với các liên kết cho C, Python và Rust, khuyến khích các nhà phát triển tích hợp NIXL vào khối lượng công việc suy luận AI của họ.