Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA và OpenAI một lần nữa hợp tác để nâng cao năng lực AI, công bố các mô hình mã nguồn mở mới "gpt-oss-20b" và "gpt-oss-120b". Được thiết kế để tăng tốc hiệu suất suy luận, các mô hình này đạt tốc độ đáng kinh ngạc lên đến 1,5 triệu token mỗi giây trên kiến trúc Blackwell của NVIDIA. Với các tính năng tiên tiến như suy luận chuỗi suy nghĩ và gọi công cụ, chúng được phát hành với độ chính xác FP4, cho phép chúng chạy trên một GPU trung tâm dữ liệu 80GB duy nhất.

Các mô hình này được đào tạo trên GPU NVIDIA H100 Tensor Core, với mô hình gpt-oss-120b lớn hơn yêu cầu hơn 2,1 triệu giờ đào tạo. NVIDIA đã tối ưu hóa hiệu suất mô hình, đảm bảo khả năng tương thích với nhiều nền tảng mã nguồn mở lớn và đang tích hợp các mô hình gpt-oss trên toàn bộ nền tảng phần mềm của mình để đáp ứng các nhu cầu đa dạng của nhà phát triển.

Để tối đa hóa hiệu suất mô hình, NVIDIA đã giới thiệu nhiều tính năng khác nhau, bao gồm các hạt nhân chuyên biệt cho sự chú ý và định tuyến Hỗn hợp Chuyên gia (MoE), cũng như hỗ trợ MoE hạt nhân OpenAI Triton. Những cải tiến này có sẵn thông qua thư viện phục vụ hạt nhân FlashInfer, được thiết kế cho các mô hình ngôn ngữ quy mô lớn (LLM). NVIDIA cũng cung cấp hướng dẫn triển khai các mô hình này bằng nhiều công cụ khác nhau, chẳng hạn như vLLM và TensorRT-LLM, giúp các nhà phát triển dễ dàng tích hợp chúng vào dự án của mình.

Cam kết về hiệu suất của NVIDIA được thể hiện rõ qua sự hợp tác với OpenAI, nơi các mô hình gpt-oss đã hỗ trợ hiệu suất nhanh ngay từ những ngày đầu. Các mô hình này dự kiến sẽ hỗ trợ một lượng lớn người dùng đồng thời trong khi vẫn duy trì thông lượng cao và chi phí thấp cho mỗi token. Nền tảng của NVIDIA liên tục hỗ trợ hệ sinh thái AI, cung cấp cho các nhà phát triển các công cụ và tài nguyên họ cần để triển khai hiệu quả các mô hình mới nhất.