Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

TensorRT-LLM của NVIDIA đã có những tiến bộ đáng kể, giúp cải thiện đáng kể hiệu suất suy luận cho các mô hình ngôn ngữ quy mô lớn (LLM). Những cải tiến mới nhất đối với GPU NVIDIA H200 giúp tăng tốc độ của Llama 2 70B LLM lên 6,7 lần, cho phép các mẫu lớn hơn như Falcon-180B chạy trên một GPU duy nhất. Tốc độ nhanh hơn của Llama 2 70B là do tối ưu hóa công nghệ có tên là Chú ý truy vấn theo nhóm (GQA), đây là phần mở rộng của công nghệ chú ý nhiều đầu, là lớp chính trong Llama 2 70B.

Falcon-180B là một trong những mô hình ngôn ngữ quy mô lớn nguồn mở lớn nhất và chính xác nhất và trước đây cần ít nhất tám GPU NVIDIA A100 Tensor Core để chạy. Tuy nhiên, những tiến bộ trong TensorRT-LLM của INT4 AWQ tùy chỉnh cho phép nó chạy hoàn toàn trên một GPU H200 Tensor Core duy nhất. GPU được cho là có bộ nhớ HBM3e mới nhất 141 GB với băng thông bộ nhớ gần 5 TB/s.

Phiên bản mới nhất của TensorRT-LLM đã cải tiến các nhân Chú ý truy vấn theo nhóm (GQA) trong giai đoạn tạo, mang lại cải thiện hiệu suất lên tới 6,7 lần trên H200 so với cùng một mạng chạy trên GPU NVIDIA A200. GQA được sử dụng trong Llama 2 70B là một loại Chú ý nhiều đầu (MHA) nhóm các đầu mục khóa-giá trị (KV), dẫn đến số đầu đầu KV ít hơn đầu truy vấn (Q). Việc triển khai MHA tùy chỉnh này hỗ trợ GQA, chú ý nhiều truy vấn (MQA) và MHA tiêu chuẩn, thúc đẩy NVIDIA Tensor Core trong các giai đoạn tạo và ngữ cảnh, đồng thời mang lại hiệu suất vượt trội trên GPU NVIDIA.

Bản phát hành mới nhất của TensorRT-LLM triển khai nhân tùy chỉnh cho AWQ và tận dụng công nghệ này bằng cách sử dụng công nghệ Hopper Tensor Core mới nhất để thực hiện các phép tính với độ chính xác FP8 trên GPU NVIDIA Hopper thay vì FP16. Chúng tôi đang tiến thêm một bước nữa. Cách tiếp cận này cho phép AWQ giảm mức sử dụng bộ nhớ trong khi vẫn duy trì độ chính xác cao hơn các phương pháp 4 bit khác. Kết quả cho thấy toàn bộ mô hình Falcon-180B có thể lắp vừa trên một H200 và chạy mô hình với thông lượng suy luận tuyệt vời lên tới 800 token/giây. nước xốt: