Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố những cải tiến hiệu suất đáng kể cho nền tảng Jetson AGX Thor, tăng thông Generative AI sinh lên đến 7 lần kể từ khi ra mắt. Những nỗ lực tối ưu hóa phần mềm của NVIDIA đã dẫn đến những cải tiến này, mang lại lợi ích cho các nhà phát triển đang làm việc với các mô hình như Llama và DeepSeek. NVIDIA thường cung cấp hỗ trợ cho các mô hình AI mới chỉ vài ngày sau khi phát hành, cho phép các nhà phát triển nhanh chóng tích hợp các công nghệ mới nhất vào dự án của họ.

Nền tảng Jetson Thor cũng tích hợp hỗ trợ cho các định dạng lượng tử hóa hàng đầu, bao gồm NVFP4 từ kiến ​​trúc GPU NVIDIA Blackwell. Khả năng bổ sung này, kết hợp với các kỹ thuật như giải mã suy đoán, giúp tối ưu hóa hơn nữa suy luận AI, đặc biệt là trong các ứng dụng điện toán biên. Bộ chứa vLLM mới được phát hành cho thấy hiệu suất cải thiện tới 3,5 lần so với các mô hình hiện có, thể hiện cam kết của NVIDIA trong việc nâng cao hệ sinh thái phần mềm của mình.

Nền tảng Jetson Thor của NVIDIA hiện hỗ trợ giải mã suy đoán cho Eagle 3 trong các container vLLM, cải thiện đáng kể tốc độ của các mô hình Generative AI . Ví dụ, mô hình Llama 3.3 70B với giải mã suy đoán đạt tốc độ đầu ra 88,62 token mỗi giây, cải thiện đáng kể hiệu suất so với số liệu phát hành ban đầu, thể hiện cam kết của NVIDIA trong việc cung cấp cho các nhà phát triển các công cụ mạnh mẽ để tăng tốc khối lượng công việc AI tại biên.

Hỗ trợ ngay từ ngày đầu cho các mô hình AI tạo sinh mới nhất trên nền tảng Jetson Thor cho phép các nhà phát triển tiếp cận ngay lập tức với công nghệ tiên tiến. Phương pháp lượng tử hóa và giải mã suy đoán của NVIDIA hướng dẫn các nhà phát triển tối đa hóa hiệu suất AI tạo sinh trên nền tảng. Với việc phát hành một container vLLM độc lập với các bản cập nhật hàng tháng, NVIDIA đơn giản hóa quy trình tối ưu hóa và đánh giá chuẩn các mô hình AI cho các nhà phát triển, củng cố vai trò của mình trong việc thúc đẩy công nghệ AI tại các vùng biên.