Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu một giải pháp mới giúp hợp lý hóa việc triển khai các mô hình AI phù hợp với dữ liệu theo miền cụ thể. NVIDIA Inference Server (NIS) cung cấp các vi dịch vụ suy luận dựng sẵn để nhanh chóng tích hợp các mô hình nền tảng AI vào các ứng dụng doanh nghiệp. Các vi dịch vụ này được thiết kế để hỗ trợ các mô hình tinh chỉnh theo nhiều cách khác nhau, chẳng hạn như tinh chỉnh hiệu quả tham số (PEFT), để đảm bảo hiệu suất tối ưu.

Công ty đã phát triển một quy trình giúp loại bỏ sự phức tạp trong việc định cấu hình phần mềm suy luận khi trực tiếp điều chỉnh trọng số mô hình trong quá trình đào tạo. NIS của NVIDIA có thể tự động xây dựng công cụ suy luận TensorRT-LLM được tinh chỉnh cho mô hình cụ thể và cấu hình GPU của bạn, đơn giản hóa việc triển khai thành một bước duy nhất.

Hướng dẫn mới nhất của NVIDIA giới thiệu cách triển khai vi dịch vụ NIS cho các mô hình tùy chỉnh sử dụng tính năng tinh chỉnh có giám sát (SFT). Hướng dẫn này cung cấp hướng dẫn chi tiết và các lệnh cần thiết để xây dựng và triển khai cục bộ công cụ suy luận TensorRT-LLM được tối ưu hóa hiệu suất. Các điều kiện tiên quyết bao gồm môi trường điện toán tăng tốc NVIDIA với đủ bộ nhớ GPU và cài đặt phần mềm cụ thể.

Công ty nhấn mạnh sự dễ dàng trong việc lựa chọn hồ sơ hiệu suất của công cụ suy luận của mình. Cấu hình này tự động điều chỉnh theo lựa chọn phần cứng và kiểu máy của bạn. Các cấu hình này được thiết kế để tối ưu hóa độ trễ hoặc thông lượng tùy thuộc vào nhu cầu ứng dụng của bạn. Những nỗ lực của NVIDIA được thiết kế để đẩy nhanh việc áp dụng nhanh chóng khả năng suy luận AI, cung cấp tài nguyên và hỗ trợ cộng đồng thông qua các tài liệu và diễn đàn dành cho nhà phát triển.