Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu các tính năng mới cho TensorRT-LLM giúp tăng cường sử dụng GPU và hợp lý hóa quy trình triển khai cho các nhà phát triển. Tính năng này, được gọi là điền trước đoạn, giải quyết các thách thức tính toán gặp phải trong giai đoạn suy luận giải mã và điền trước truyền thống. Bằng cách chia mã thông báo đầu vào thành các phần nhỏ hơn, hệ thống có thể xử lý bộ đệm KV hiệu quả hơn, xử lý đồng thời nhiều yêu cầu và ngăn ngừa tắc nghẽn trong giai đoạn điền trước.

Phương pháp điền trước theo khối không chỉ cải thiện hiệu suất GPU mà còn cho phép hệ thống quản lý các bối cảnh dài hơn và mức độ đồng thời cao hơn mà không làm tăng nhu cầu bộ nhớ. Điều này đặc biệt có lợi vì nó tách mức tiêu thụ bộ nhớ khỏi độ dài ngữ cảnh của các yêu cầu gửi đến, cho phép xử lý độ dài ngữ cảnh dài hơn một cách hiệu quả hơn.

Ngoài ra, NVIDIA đã có đóng góp đáng kể trong việc đơn giản hóa quá trình tạo động cơ bằng cách triển khai kích thước khối động. Tính năng này tự động đề xuất kích thước khối tối ưu dựa trên số liệu sử dụng GPU, giúp nhà phát triển không cần phải chỉ định độ dài đầu vào tối đa theo cách thủ công. Do đó, kích thước bộ đệm kích hoạt hiện được xác định bởi kích thước khối đã định cấu hình, dẫn đến việc sử dụng bộ nhớ hiệu quả hơn trong thời gian chạy.

Việc giới thiệu tính năng điền trước đoạn trong TensorRT-LLM giúp cải thiện đáng kể hiệu suất và mức sử dụng hệ thống. Bằng cách tăng tính song song giữa các giai đoạn điền trước và giải mã cũng như giảm thời gian hoàn thành truy vấn, NVIDIA cải thiện trải nghiệm người dùng. Các nhà phát triển quan tâm đến việc tận dụng tính năng này có thể tìm hiểu thêm, bắt đầu và cập nhật các bản cập nhật hiệu suất suy luận AI mới nhất bằng tài liệu GitHub của NVIDIA.