Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa công bố bản phát hành beta của AutoDeploy, một tính năng của TensorRT LLM. AutoDeploy đơn giản hóa việc triển khai các mô hình ngôn ngữ quy mô lớn (LLM) bằng cách tự động hóa quy trình tối ưu hóa công cụ suy luận. AutoDeploy cho phép các nhà phát triển chuyển đổi các mô hình PyTorch thành các đồ thị được tối ưu hóa mà không cần can thiệp thủ công, giúp đơn giản hóa quá trình chuyển đổi từ phát triển mô hình sang triển khai.

Tính năng mới này được thiết kế để giải quyết những phức tạp vốn có trong các kiến ​​trúc LLM khác nhau, chẳng hạn như mô hình Transformer và mô hình ngôn ngữ-thị giác lai, bằng cách tự động hóa các tác vụ như quản lý bộ nhớ cache KV và hợp nhất hoạt động. Quy trình làm việc dựa trên trình biên dịch này cho phép người xây dựng mô hình tập trung vào việc tạo mô hình trong khi AutoDeploy xử lý các tối ưu hóa cụ thể cho suy luận.

AutoDeploy hỗ trợ nhiều loại mô hình, bao gồm hơn 100 LLM chuyển đổi văn bản sang văn bản, và cung cấp hỗ trợ sớm cho các mô hình ngôn ngữ-thị giác (VLM) và mô hình không gian trạng thái (SSM). Nó cũng cung cấp hỗ trợ được tối ưu hóa hiệu suất cho các mô hình như dòng Llama và Nemotron 3 Nano của NVIDIA. Tính năng này được tích hợp vào môi trường chạy TensorRT LLM, cho phép chuyển đổi và triển khai mô hình liền mạch khi khởi động, hứa hẹn cải thiện hiệu suất liên tục.

Kiến trúc AutoDeploy thu thập và tối ưu hóa đồ thị tính toán từ mô hình PyTorch và áp dụng một loạt các phép biến đổi tự động để cải thiện hiệu suất. Điều này bao gồm phân mảnh và tích hợp các nhân được tối ưu hóa cho suy luận đa GPU. Hệ thống cũng xử lý tích hợp thời gian chạy, quản lý các khía cạnh như lập lịch và quản lý bộ nhớ cache mà theo truyền thống đòi hỏi nhiều công sức thủ công.

AutoDeploy của NVIDIA đã chứng minh khả năng của mình bằng cách cho phép triển khai và tối ưu hóa nhanh chóng các mô hình phức tạp như Nemotron 3 Nano và Nemotron-Flash. Các mô hình này đã được tích hợp và tối ưu hóa trong vòng vài ngày, chứng minh khả năng của AutoDeploy trong việc tạo điều kiện triển khai nhanh chóng và duy trì hiệu suất suy luận cao trên các kiến ​​trúc đa dạng. Các nhà phát triển và người đóng góp quan tâm có thể tham khảo tài liệu AutoDeploy và các tập lệnh mẫu để bắt đầu thử nghiệm tính năng này.