Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố phát hành TensorRT 10.0, giới thiệu một công cụ loại bỏ trọng lượng giúp giảm đáng kể kích thước của các công cụ mô hình AI. Những động cơ này, loại trừ trọng lượng khỏi mã đang chạy, có thể giảm hơn 95% kích thước động cơ. Cải tiến này hợp lý hóa quy trình triển khai cho các ứng dụng sử dụng GPU NVIDIA GeForce RTX và NVIDIA RTX bằng cách cho phép các thiết bị của người dùng cuối cân bằng lại trọng lượng bằng cách sử dụng khoảng 40 MB thời gian chạy tinh gọn.

Công cụ loại bỏ trọng lượng được thiết kế để hỗ trợ các mô hình ONNX và các định nghĩa mạng khác, cho phép bạn thay đổi trọng lượng mà không cần xây dựng lại toàn bộ động cơ. Tính năng này đặc biệt hữu ích trong các tình huống liên quan đến nhiều SKU GPU và cấu hình tối ưu hóa, vì nó giảm thiểu trùng lặp trọng lượng và do đó, giảm kích thước nhị phân của ứng dụng của bạn. Công cụ này vẫn tương thích với các bản cập nhật nhỏ của TensorRT và có thể được xây dựng bằng các cờ tương thích phiên bản, khiến công cụ này thậm chí còn hữu ích hơn.

Đám mây TensorRT, hiện chỉ có một số đối tác chọn lọc mới có thể truy cập, mở rộng khả năng của bạn để xây dựng các công cụ giảm trọng lượng trên nhiều loại GPU NVIDIA. Hỗ trợ điều chỉnh lại và xây dựng công cụ giảm trọng lượng cho NVIDIA TensorRT-LLM sẽ sớm ra mắt, cải thiện hơn nữa khả năng nén và hiệu quả của các mô hình ngôn ngữ lớn (LLM).

Quá trình xây dựng và triển khai công cụ giảm trọng lượng sử dụng trọng lượng mô hình trong giai đoạn xây dựng để thực hiện tối ưu hóa và đảm bảo hiệu suất ổn định khi trọng số được điều chỉnh lại sau đó. Sau khi được tuần tự hóa, các công cụ này có thể được hiệu chỉnh lại sau vài giây bằng cách sử dụng trọng số từ các tệp ONNX trên thiết bị của người dùng cuối, duy trì hiệu quả của quá trình khử lưu huỳnh nhanh chóng mà TensorRT nổi tiếng. Cách tiếp cận này không chỉ cho phép bạn kết hợp nhiều tính năng AI hơn vào ứng dụng của mình mà không làm tăng kích thước ứng dụng mà còn đảm bảo rằng công cụ này vẫn tương thích về phía trước với các thế hệ GPU trong tương lai. nước xốt: