Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

AIConfigurator đã nổi lên như một công cụ thiết yếu để tối ưu hóa việc triển khai các mô hình ngôn ngữ lớn (LLM), giải quyết thách thức phức tạp trong việc tìm kiếm cấu hình lý tưởng trong không gian tìm kiếm đa chiều rộng lớn. Công cụ này, là mã nguồn mở, nhằm mục đích đơn giản hóa quy trình thiết lập hệ thống máy chủ Dynamo AI của NVIDIA, hứa hẹn mang lại cấu hình triển khai tối ưu chỉ trong vài phút.

Ưu điểm chính của công cụ này nằm ở khả năng dự đoán cấu hình hoạt động tốt nhất mà không cần phải thực hiện các thử nghiệm chuyên sâu trên phần cứng thực tế. Bằng cách chia nhỏ quá trình suy luận LLM thành các thao tác riêng lẻ và đo lường chúng một cách riêng biệt trên GPU mục tiêu, AIConfigurator có thể ước tính hiệu suất tổng thể của bất kỳ thiết lập nào. Cách tiếp cận này tiết kiệm đáng kể thời gian và tài nguyên, vì nó loại bỏ nhu cầu tiêu tốn thời gian xử lý GPU trong giai đoạn tìm kiếm.

Khả năng của AIConfigurator mở rộng đến nhiều khía cạnh hoạt động khác nhau, bao gồm phép nhân ma trận tổng quát (GEMM), cơ chế chú ý và phân bổ hỗn hợp chuyên gia (MoE). Nó đánh giá hiệu năng của từng phép toán cơ bản trên các chế độ lượng tử hóa, kích thước lô, độ dài chuỗi và số lượng GPU khác nhau, tạo ra một cơ sở dữ liệu hiệu năng được hiệu chỉnh phù hợp với phần cứng được sử dụng. Khi gặp các mô hình hoặc GPU mới, công cụ này sử dụng các ước tính giới hạn hiệu năng với các hệ số hiệu chỉnh thực nghiệm để đưa ra các khuyến nghị hữu ích, ngay cả khi không có dữ liệu thực nghiệm.

Tính linh hoạt của công cụ còn được thể hiện qua khả năng thích ứng với các chế độ phục vụ khác nhau, chẳng hạn như xử lý theo lô liên tục cho phục vụ tổng hợp và khớp tốc độ cho phục vụ phân tán. Nó cũng giải quyết các vấn đề đặc thù của MoE, chẳng hạn như song song hóa chuyên gia và độ lệch định tuyến mã thông báo. AIConfigurator trình bày đường biên Pareto cho mỗi cấu hình được đánh giá, minh họa sự đánh đổi giữa thông lượng và latency, và hoàn thành các tìm kiếm toàn diện trong vòng vài giây.

Nhờ sự đóng góp từ các đối tác trong hệ sinh thái như Alibaba và Mooncake, AIConfigurator đã mở rộng phạm vi hỗ trợ vượt ra ngoài NVIDIA TensorRT LLM để tương thích với các framework khác. Những sự hợp tác này đã dẫn đến việc tích hợp hỗ trợ SGLang, nâng cao tính hữu ích của công cụ trên nhiều framework. Giờ đây, người dùng có thể dễ dàng so sánh các backend chỉ bằng một thao tác thay đổi cờ đơn giản, và công cụ sẽ tự động điều chỉnh các đề xuất dựa trên mô hình, phần cứng và các ràng buộc về thỏa thuận mức dịch vụ (SLA) đã được chỉ định.

Khi AIConfigurator tiếp tục phát triển, nó dự kiến ​​sẽ trở thành một phần không thể thiếu của nền tảng Dynamo, với kế hoạch tích hợp mô hình hóa khối lượng công việc động và hỗ trợ mô hình nhanh hơn. Công cụ này mở cửa cho sự đóng góp từ cộng đồng, bao gồm dữ liệu hiệu năng phần cứng mới và hỗ trợ phụ trợ bổ sung. Các nhà phát triển và nhà nghiên cứu quan tâm có thể truy cập kho lưu trữ AIConfigurator để bắt đầu và khám phá dự án Dynamo nhằm đơn giản hóa các thiết lập máy chủ phân tán.