Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

TensorRT của NVIDIA nâng cao khả năng triển khai các mô hình học máy trên GPU bằng cách tối ưu hóa các mô hình AI để chạy hiệu quả hơn trên phần cứng cụ thể. Sử dụng các kỹ thuật như hợp nhất lớp và tự động lựa chọn chiến thuật hạt nhân, TensorRT được tùy chỉnh để chạy trên phần cứng chuyên dụng của NVIDIA, bao gồm cả Blackwell Tensor Cores. Việc tối ưu hóa này rất cần thiết để tăng tốc tính toán trên các mô hình học máy phức tạp.

Torch-TensorRT, trình biên dịch cho các mô hình PyTorch, thu hẹp khoảng cách hiệu suất bằng cách cho phép các mô hình đạt được hiệu suất tương đương TensorRT trên GPU NVIDIA. Công cụ này cho phép các nhà phát triển duy trì tính dễ sử dụng của PyTorch trong khi vẫn có khả năng cải thiện hiệu suất gấp 2 lần so với PyTorch gốc mà không cần sửa đổi API PyTorch hiện có. Bài đăng trên blog trình bày chi tiết cách Torch-TensorRT đơn giản hóa việc tối ưu hóa và minh họa cách những thay đổi mã tối thiểu có thể mang lại hiệu suất đáng kể. Ví dụ: chỉ với một dòng mã, một mô hình AI với 12 tỷ tham số có thể đạt được hiệu suất cải thiện 1,5 lần so với PyTorch gốc FP16, và có thể đạt được hiệu suất cải thiện thêm 2,4 lần bằng cách áp dụng lượng tử hóa FP8.

Việc tích hợp Torch-TensorRT với các quy trình làm việc bộ khuếch tán tiên tiến như Low-Rank Adaptation (LoRA) cho phép tinh chỉnh mô hình tức thời. Tính năng này đặc biệt hữu ích cho các nhà phát triển sử dụng HuggingFace Diffusers, một SDK cung cấp quyền truy cập vào nhiều mô hình tiên tiến và hỗ trợ các trường hợp sử dụng phức tạp như tinh chỉnh. Torch-TensorRT hợp lý hóa quy trình tối ưu hóa trong quy trình bộ khuếch tán, loại bỏ nhu cầu về các bước trung gian hoặc mã hóa bổ sung khi thực hiện thay đổi đối với quy trình.

Mô-đun Torch-TensorRT có thể thay đổi (MTTM) của Torch-TensorRT được thiết kế để tối ưu hóa các mô-đun PyTorch ngay lập tức với TensorRT, đồng thời vẫn giữ nguyên tất cả chức năng của mô hình gốc. Tính năng này đặc biệt hữu ích cho các ứng dụng có trọng số động hoặc đồ thị, vì nó tự động thích ứng với các thay đổi bằng cách điều chỉnh lại hoặc biên dịch lại hàm forward. MTTM cũng có thể tuần tự hóa, cung cấp phương pháp kết hợp giữa biên dịch Ahead-Of-Time (AOT) và Just-In-Time (JIT). Điều này rất hữu ích cho các nhà phát triển cần triển khai các mô-đun được biên dịch sẵn có khả năng thích ứng với các thay đổi thời gian chạy.