Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Bài đăng mới nhất trong loạt bài về chuẩn độ trễ-thông lượng cho các mô hình ngôn ngữ quy mô lớn (LLM) hướng dẫn các nhà phát triển quy trình chuẩn hóa suy luận LLM bằng TensorRT-LLM. Bài đăng này dựa trên các bài đăng trước đó giới thiệu các khái niệm chuẩn hóa cơ bản và cung cấp các mẹo để tận dụng một số công cụ NVIDIA.

Khi áp dụng một khuôn khổ LLM, điều quan trọng là phải đảm bảo rằng khuôn khổ đã chọn được tinh chỉnh để đáp ứng các số liệu hiệu suất quan trọng đối với ứng dụng mục tiêu. Công cụ suy luận AI nguồn mở của NVIDIA, TensorRT-LLM, cung cấp một bộ công cụ chuẩn mực và phục vụ gốc cũng như một loạt các tính năng mà các nhà phát triển có thể tinh chỉnh để tối ưu hóa hiệu suất.

TensorRT-LLM bao gồm một tiện ích dựa trên Python , trtllm-bench, được thiết kế để cho phép đánh giá chuẩn trực tiếp các mô hình mà không cần triển khai toàn bộ công cụ suy luận. Tiện ích này đơn giản hóa quy trình thu thập thông tin chi tiết về hiệu suất của mô hình bằng cách định cấu hình công cụ với các thiết lập tối ưu, thường mang lại kết quả vượt trội. Trước khi đánh giá chuẩn, các nhà phát triển cần thiết lập môi trường GPU của họ và chuẩn bị một tập dữ liệu. Tập dữ liệu có thể được chọn từ các tập dữ liệu tổng hợp hoặc tùy chỉnh bằng cách làm theo tài liệu được cung cấp.

Quá trình đánh giá chuẩn chạy lệnh con trtllm-bench throughput, lệnh này tự động kiểm tra điểm mô hình và khởi động TRT-LLM bằng luồng PyTorch. Kết quả, bao gồm nhiều số liệu hiệu suất khác nhau, được lưu và hiển thị sau khi hoàn tất. Các số liệu này có thể giúp các nhà phát triển hiểu được hiệu suất của mô hình và đưa ra quyết định sáng suốt về việc điều chỉnh chúng cho các trường hợp sử dụng cụ thể của họ.

Khi phục vụ LLM, TensorRT-LLM có thể dễ dàng tạo điểm cuối tương thích với OpenAI bằng lệnh trtllm-serve, cho phép các nhà phát triển áp dụng thông tin chi tiết về điều chỉnh thu được từ trtllm-bench để xây dựng máy chủ được điều chỉnh chính xác. Sau đó, hiệu suất của máy chủ có thể được xác thực bằng các công cụ như GenAI-Perf hoặc cổng benchmark_serving.py.

Tóm lại, TensorRT-LLM cung cấp cho các nhà phát triển các công cụ họ cần để đánh giá chuẩn và điều chỉnh LLM hiệu quả, đảm bảo rằng các mô hình của họ được tối ưu hóa để đạt được kết quả hiệu suất mong muốn. Các tài nguyên bổ sung có sẵn cho những người quan tâm đến việc hiểu sâu hơn về điều chỉnh hiệu suất và đánh giá chuẩn trong khuôn khổ TensorRT-LLM.