Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố các bản cập nhật cho Bộ công cụ RTX AI nhằm nâng cao hiệu suất của các mô hình AI được tinh chỉnh trên PC và máy trạm RTX. Bộ công cụ hiện hỗ trợ sử dụng nhiều bộ điều hợp Thích ứng xếp hạng thấp (LoRA) trong thư viện tăng tốc AI TensorRT-LLM, có thể cải thiện hiệu suất mô hình lên tới 6 lần. Sự tiến bộ này cho phép các nhà phát triển tùy chỉnh hiệu quả hơn các mô hình ngôn ngữ quy mô lớn (LLM) cho các ứng dụng cụ thể, chẳng hạn như hộp thoại trò chơi điện tử hoặc phản hồi của trợ lý kỹ thuật số.

Tùy chỉnh LLM là điều cần thiết để các nhà phát triển đáp ứng nhu cầu của các ứng dụng cụ thể. Điều này là do các mô hình này ban đầu được đào tạo trên các tập dữ liệu khổng lồ và có thể thiếu bối cảnh sắc thái cần thiết cho một nhiệm vụ cụ thể. Bằng cách tinh chỉnh các mô hình với dữ liệu liên quan, nhà phát triển có thể đạt được kết quả đầu ra chính xác hơn và phù hợp với ngữ cảnh hơn. Bộ công cụ RTX AI tạo điều kiện thuận lợi cho quá trình này bằng cách cho phép sử dụng đồng thời nhiều bộ điều hợp LoRA, cho phép nhiều quá trình tinh chỉnh khác nhau diễn ra đồng thời mà không cần nhiều mô hình, điều này không thực tế do hạn chế về bộ nhớ GPU.

Khả năng phục vụ đa LoRA được NVIDIA giới thiệu là một cải tiến lớn dành cho các nhà phát triển làm việc với các mô hình AI. Bằng cách kết nối các bộ điều hợp LoRA khác nhau, một mô hình cơ bản duy nhất có thể được sử dụng cho nhiều trường hợp sử dụng. Mỗi bộ điều hợp cung cấp các chi tiết cụ thể cần thiết cho các tác vụ khác nhau. Cách tiếp cận này không chỉ giữ mức sử dụng bộ nhớ thấp mà còn tối đa hóa hiệu suất GPU bằng cách xử lý song song nhiều lệnh gọi. Do đó, các nhà phát triển có thể khai thác sức mạnh của GPU NVIDIA để nhanh chóng lặp lại và cải thiện kết quả do AI điều khiển, chẳng hạn như văn bản và hình ảnh, cho các ứng dụng của họ.

Bản cập nhật mới nhất cho bộ công cụ RTX AI của NVIDIA nêu bật tầm quan trọng ngày càng tăng của LLM trong môi trường AI. Với khả năng tăng tốc hiệu suất mô hình và hợp lý hóa quy trình tinh chỉnh, giờ đây các nhà phát triển có thể tạo ra các ứng dụng AI mạnh mẽ và phù hợp hơn. Hỗ trợ Multi-LoRA dự kiến ​​sẽ thúc đẩy hơn nữa việc áp dụng và tích hợp LLM giữa các ngành để đáp ứng nhu cầu ngày càng tăng về các giải pháp AI phức tạp dành riêng cho ứng dụng.