Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu định dạng KV mới, NVFP4, để cải thiện hiệu suất của các mô hình ngôn ngữ quy mô lớn (LLM) trên GPU NVIDIA Blackwell. NVFP4 được thiết kế để giảm dung lượng bộ nhớ cache KV lên đến 50%, giúp tăng gấp đôi ngân sách ngữ cảnh cho LLM. Điều này cho phép xử lý các kích thước lô lớn hơn và các chuỗi dài hơn, đồng thời đạt được độ suy giảm độ chính xác dưới 1% trên nhiều bài kiểm tra hiệu năng khác nhau.

Bộ nhớ đệm KV là một thành phần quan trọng của LLM, lưu trữ các tensor khóa-giá trị để tránh tính toán dư thừa trong quá trình tạo token. NVFP4 lượng tử hóa bộ nhớ đệm KV từ độ chính xác 16 bit xuống 4 bit, loại bỏ các nút thắt về bộ nhớ và băng thông, cho phép xử lý khối lượng công việc suy luận hiệu quả hơn.

Việc lượng tử hóa bộ nhớ cache NVFP4 KV được thực hiện bởi NVIDIA TensorRT Model Optimizer, yêu cầu giải lượng tử hóa từ NVFP4 sang FP8 trước khi tính toán ma trận chú ý và ma trận ngữ cảnh. Quá trình tối ưu hóa này hỗ trợ cả lượng tử hóa sau huấn luyện (PTQ) và huấn luyện có nhận thức về lượng tử hóa (QAT), có khả năng mang lại những cải tiến hiệu suất đáng kể cho các tác vụ suy luận.

Bộ nhớ đệm NVFP4 KV đóng góp đáng kể vào hiệu năng LLM, cải thiện latency thời gian đến token đầu tiên (TTFT) lên đến 3 lần và tăng tỷ lệ truy cập bộ nhớ đệm thành công. Hiệu quả này cho phép sử dụng bộ nhớ băng thông cao (HBM) hiệu quả hơn, bổ sung cho các thành phần được đồng thiết kế khác trong ngăn xếp suy luận của NVIDIA. Mặc dù có quá trình lượng tử hóa, NVFP4 vẫn duy trì mức độ chính xác cao, chỉ mất chưa đến 1% so với các mức cơ bản BF16 và FP8, cho phép hiệu năng mạnh mẽ ngay cả trên các tác vụ phức tạp.