Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Meta đã công bố loạt mô hình ngôn ngữ tầm nhìn Llama 3.2 mới nhất. Model này cung cấp cả phiên bản tham số 11B và 90B để xử lý đầu vào văn bản và hình ảnh. Cũng được giới thiệu là các biến thể mô hình ngôn ngữ chỉ có văn bản nhỏ hơn với tham số 1B và 3B. NVIDIA tận dụng nhiều loại GPU, từ các thiết bị trung tâm dữ liệu hiệu suất cao đến máy trạm RTX cục bộ cho đến các thiết bị NVIDIA Jetson công suất thấp, để mang lại hiệu suất hiệu quả và triển khai tiết kiệm chi phí cho các mô hình này trên toàn thế giới. Tôi đã thực hiện một số điều chỉnh nhỏ.

Llama 3.2 VLM được thiết kế để xử lý nhiều độ dài ngữ cảnh và hình ảnh có độ phân giải cao, mang lại thời gian phản hồi nhanh và thông lượng cao để mang lại trải nghiệm liền mạch cho người dùng. Tối ưu hóa toàn diện trên nền tảng công nghệ của NVIDIA đóng vai trò quan trọng trong việc đạt được các chỉ số hiệu suất này. SLM đã được cải tiến tương tự để hoạt động tốt nhất trên PC và máy trạm NVIDIA RTX, đồng thời với các điều chỉnh lượng tử hóa để chạy trên các thiết bị biên NVIDIA Jetson.

Những tiến bộ về thông lượng suy luận AI cho các mô hình Llama 3.2 của NVIDIA là rất đáng chú ý. Mô hình này bao gồm bộ mã hóa tầm nhìn và bộ giải mã văn bản, cả hai đều được tối ưu hóa để suy luận hiệu suất cao bằng thư viện TensorRT của NVIDIA. Cơ chế chú ý chéo của bộ giải mã văn bản cho phép VLM tạo văn bản có ngữ cảnh trực quan, tăng hiệu quả. NVIDIA cũng đã phát triển các công thức lượng tử hóa sau đào tạo FP8 tùy chỉnh, khi kết hợp với Lõi Tensor FP8 thế hệ thứ 4, sẽ tăng thông lượng mô hình và giảm độ trễ mà không làm giảm độ chính xác.

Hiệu suất của mô hình Llama 3.2 trên nền tảng NVIDIA rất ấn tượng, với các phép đo nội bộ thể hiện khả năng của nó trong cả các tình huống thông lượng tối đa và độ trễ tối thiểu. Những kết quả này nêu bật hiệu năng vượt trội của GPU NVIDIA H200 được tối ưu hóa bằng phần mềm TensorRT. Ngoài ra, trong môi trường Windows, Llama 3.2 SLM được tối ưu hóa để hoạt động với ONNX Runtime Generative API và mang lại hiệu suất thông lượng tuyệt vời trên GPU NVIDIA GeForce RTX 4090. Nền tảng điện toán tăng tốc của NVIDIA cho phép bạn xây dựng các mô hình hiệu suất cao trên nhiều nền tảng khác nhau, từ trung tâm dữ liệu đến máy trạm cục bộ, đáp ứng nhu cầu của các doanh nghiệp muốn nhanh chóng triển khai và nhận ra giá trị.