Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Những tiến bộ mới nhất trong công nghệ AI đã phát triển các khả năng mới trong bộ công cụ RTX AI cho phép sử dụng hiệu quả các mô hình ngôn ngữ quy mô lớn (LLM) trên các thiết bị có bộ nhớ hạn chế. Cải tiến này cho phép bạn xử lý đồng thời nhiều trường hợp sử dụng, chẳng hạn như trợ lý dịch thuật đa ngôn ngữ mà không cần phải lưu trữ nhiều phiên bản của mô hình.

Giờ đây, các nhà phát triển có thể tận dụng Thích ứng xếp hạng thấp (LoRA), một kỹ thuật cho phép tùy chỉnh một LLM duy nhất với yêu cầu bộ nhớ tối thiểu. LoRA hoạt động bằng cách gắn các bộ điều hợp nhỏ dành riêng cho nhiệm vụ vào mô hình cơ sở, có thể mở rộng để phù hợp với các ứng dụng khác nhau trên thiết bị. Cách tiếp cận này đặc biệt hữu ích cho các thiết bị cần quản lý đồng thời nhiều ứng dụng và tác vụ trong khi chia sẻ tài nguyên hệ thống.

TensorRT-LLM của NVIDIA, một phần của bộ công cụ RTX AI, đã giới thiệu hỗ trợ đa LoRA. Đây là một cải tiến lớn dành cho máy tính và máy trạm RTX AI. Tính năng này cho phép thực hiện nhiều trường hợp sử dụng khác nhau trong quá trình suy luận và giúp nhà phát triển dễ dàng triển khai các tính năng AI trong ứng dụng của họ mà không cần tốn nhiều bộ nhớ.

Bản thân công nghệ LoRA liên quan đến việc tinh chỉnh một tập hợp con các tham số trong mô hình, được gọi là bộ điều hợp LoRA. Các bộ điều hợp này được tùy chỉnh nhưng các thông số chính của mô hình vẫn không thay đổi. Bộ điều hợp đã đào tạo được tích hợp vào mô hình cơ bản trong quá trình suy luận, giảm thiểu độ trễ và chi phí thông lượng. Phương pháp này không chỉ tiết kiệm bộ nhớ mà còn duy trì hiệu suất cao khi sử dụng các mô hình tùy chỉnh để phục vụ nhiều máy khách.