Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố NVIDIA TensorRT, sản phẩm mới nhất trong hệ sinh thái API được thiết kế để hỗ trợ suy luận deep learning với thời gian chạy và tối ưu hóa mô hình được cải thiện. Bản phát hành mới giúp đơn giản hóa việc cài đặt, cải thiện tính dễ sử dụng, hỗ trợ nhiều mô hình AI hơn và đảm bảo hiệu suất hiệu quả với độ trễ thấp và thông lượng cao cho các ứng dụng sản xuất.

Các nhà phát triển có thể hưởng lợi từ trải nghiệm hợp lý hơn trong TensorRT 10.0 với siêu gói Debian và RPM được cập nhật giúp thiết lập dễ dàng hơn bằng cách sử dụng các lệnh như `apt-get install tensorrt` và `pip install tensorrt`. Bản phát hành này cũng giới thiệu API Debug Tensors. Điều này giúp xác định chính xác các vấn đề trong biểu đồ bằng cách gọi hàm gọi lại chứa chi tiết tensor mỗi khi ghi giá trị tensor. Các nâng cấp đáng kể cho quá trình phát triển Windows, bao gồm báo cáo lỗi trình phân tích cú pháp ONNX được cải thiện, phiên bản và khả năng tương thích phần cứng cũng là một phần của bản cập nhật này.

Cải tiến hiệu suất trong TensorRT 10.0 là lượng tử hóa chỉ trọng số INT4 (WoQ) với lượng tử hóa khối. Điều này cho phép bộ nhớ được sử dụng hiệu quả ngay cả trên GPU có bộ nhớ hạn chế. Phiên bản mới cũng hỗ trợ một công cụ giảm trọng lượng có thể đạt được độ nén lên tới 99% và cho phép bạn cân lại động cơ trong thời gian chạy mà không cần phải xây dựng lại. Ngoài ra, giờ đây bạn có thể chỉ định chiến lược phân bổ thời gian chạy và tính năng truyền trọng lượng cho phép bạn chạy các mô hình lớn vượt quá dung lượng bộ nhớ GPU.

Để bổ sung cho các tính năng này, NVIDIA cũng đã phát hành TensorRT Model Optimizer 0.11. Đây là thư viện cung cấp các tính năng tối ưu hóa mô hình sau đào tạo và đào tạo trong vòng lặp như lượng tử hóa, thưa thớt và chưng cất. Công cụ này nhằm mục đích đơn giản hóa việc triển khai các mô hình deep learning bằng cách giảm độ phức tạp và tăng tốc độ suy luận. Model Optimizer tích hợp với nhiều khung đào tạo khác nhau, cho phép các nhà phát triển tận dụng nền tảng của NVIDIA trong nhiều môi trường khác nhau. Ngoài ra, việc giới thiệu Nsight Deep Learning Designer 2024.1 cung cấp môi trường phát triển tích hợp để tối ưu hóa DNN, cung cấp các công cụ trực quan để tinh chỉnh các mô hình để có hiệu suất tối ưu. nước xốt: