Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu một giải pháp mới giúp đơn giản hóa việc triển khai các mô hình AI được điều chỉnh cho dữ liệu cụ thể theo miền. NVIDIA Inference Server (NIS) cung cấp các dịch vụ vi mô suy luận được xây dựng sẵn để tích hợp nhanh chóng các mô hình dựa trên AI vào các ứng dụng doanh nghiệp. Các dịch vụ vi mô này được thiết kế để hỗ trợ các mô hình được tinh chỉnh bằng nhiều phương pháp khác nhau, chẳng hạn như tinh chỉnh hiệu quả tham số (PEFT), để đảm bảo hiệu suất tối ưu.

Công ty đã phát triển một quy trình giúp loại bỏ sự phức tạp của việc cấu hình phần mềm suy luận khi trực tiếp điều chỉnh trọng số mô hình trong quá trình đào tạo. NIS của NVIDIA có thể tự động xây dựng một công cụ suy luận TensorRT-LLM được tinh chỉnh cho một mô hình và cài đặt GPU cụ thể, đơn giản hóa việc triển khai thành một bước duy nhất.

Hướng dẫn mới nhất của NVIDIA giới thiệu việc triển khai các dịch vụ vi mô NIS cho các mô hình được tùy chỉnh bằng phương pháp tinh chỉnh có giám sát (SFT). Hướng dẫn cung cấp các bước chi tiết và các lệnh cần thiết để xây dựng và triển khai một công cụ suy luận TensorRT-LLM được tối ưu hóa hiệu suất cục bộ. Các điều kiện tiên quyết bao gồm môi trường điện toán được NVIDIA tăng tốc với bộ nhớ GPU đủ và cài đặt phần mềm cụ thể.

Công ty nhấn mạnh sự dễ dàng trong việc lựa chọn cấu hình hiệu suất của công cụ suy luận, tự động điều chỉnh theo phần cứng và lựa chọn mô hình của người dùng. Các cấu hình này được thiết kế để tối ưu hóa latency hoặc thông lượng, tùy thuộc vào nhu cầu của ứng dụng. Những nỗ lực của NVIDIA nhằm mục đích tạo điều kiện thuận lợi cho việc áp dụng nhanh chóng các khả năng suy luận AI, cung cấp tài nguyên và hỗ trợ cộng đồng thông qua các diễn đàn và tài liệu dành cho nhà phát triển.