Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Các phiên bản mới nhất của mô hình AI Llama, Llama 4 Scout và Llama 4 Maverick, đã được công bố, với những cải tiến đáng kể về hiệu suất. Được hỗ trợ bởi phần mềm nguồn mở của NVIDIA, các mô hình này có thể xử lý hơn 40.000 mã thông báo đầu ra mỗi giây khi chạy trên GPU NVIDIA Blackwell B200. Hiện tại, chúng có sẵn để thử nghiệm dưới dạng dịch vụ vi mô thông qua NVIDIA NIM, cung cấp cái nhìn thoáng qua về tiềm năng của chúng trong nhiều ứng dụng khác nhau.

Những tiến bộ trong Llama 4 bao gồm khả năng đa phương thức và đa ngôn ngữ gốc với kiến trúc chuyên gia hỗn hợp. Với 109 tỷ tham số và 16 chuyên gia, mô hình Llama 4 Scout đặc biệt phù hợp để xử lý các tác vụ như tóm tắt nhiều tài liệu và phân tích hoạt động của người dùng mở rộng. Trong khi đó, với 400 tỷ tham số và 128 chuyên gia, mô hình Llama 4 Maverick vượt trội về khả năng hiểu hình ảnh và văn bản hiệu suất cao.

Cả hai mô hình đều được tinh chỉnh cho NVIDIA TensorRT-LLM, một thư viện nguồn mở được thiết kế để cải thiện hiệu suất suy luận cho các mô hình ngôn ngữ lớn trên GPU NVIDIA. Tối ưu hóa này mang lại thông lượng đáng kinh ngạc trên GPU Blackwell B200, với Llama 4 Scout đạt hơn 40.000 mã thông báo mỗi giây và Llama 4 Maverick đạt hơn 30.000 mã thông báo mỗi giây.

Sự hợp tác của NVIDIA với Meta tiếp tục thúc đẩy sự phát triển của các mô hình mở, thúc đẩy tính minh bạch của AI và cho phép nhiều người dùng đóng góp vào tính an toàn và khả năng phục hồi của AI. Ngoài ra, khuôn khổ NeMo của NVIDIA giúp tinh chỉnh các mô hình Llama dễ dàng hơn với dữ liệu doanh nghiệp và hợp lý hóa quy trình điều chỉnh các mô hình này cho các ứng dụng AI. Để đơn giản hóa việc triển khai, NVIDIA NIM đóng gói các mô hình Llama 4 dưới dạng các dịch vụ vi mô, đảm bảo tích hợp dễ dàng vào cơ sở hạ tầng được tăng tốc bằng GPU trong khi vẫn duy trì quyền riêng tư và bảo mật dữ liệu.