Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã và đang tích cực nâng cao nền tảng AI của mình để cải thiện hiệu suất xử lý token trên mỗi watt, một chỉ số quan trọng về hiệu quả chi phí trong hoạt động AI. Bằng cách tối ưu hóa sự phối hợp giữa GPU, CPU, mạng, phần mềm, hệ thống cấp điện và hệ thống làm mát, chúng tôi đã thành công trong việc giảm chi phí trên mỗi triệu token được tạo ra. Sự cải thiện này sẽ đặc biệt có lợi khi ngày càng nhiều người dùng, từ người tiêu dùng cá nhân đến các doanh nghiệp lớn, tận dụng AI cho nhiều nhiệm vụ khác nhau.

Những tiến bộ của NVIDIA cũng mở rộng đến bộ phần mềm của hãng, đã được tinh chỉnh để khai thác hiệu suất cao hơn từ nền tảng hiện có. Chiến lược này không chỉ cải thiện hiệu suất của GPU NVIDIA mà còn kéo dài tuổi thọ hữu ích của cơ sở hạ tầng đã được triển khai bởi các nhà cung cấp dịch vụ đám mây, đám mây GPU, nhà xây dựng mô hình và doanh nghiệp.

Các bản cập nhật gần đây cho bộ phần mềm suy luận của NVIDIA đã mang lại những cải tiến hiệu suất đáng kể, đặc biệt khi chạy trên kiến trúc NVIDIA Blackwell. Những bản cập nhật này, cùng với đầy đủ chức năng của bộ phần mềm, đã góp phần đáng kể vào việc cải thiện hiệu suất của DeepSeek-R1, một mô hình suy luận hỗn hợp thưa thớt phức tạp của các chuyên gia.

Nền tảng NVIDIA GB200 NVL72 quy mô rack, với 72 GPU NVIDIA Blackwell, thể hiện cam kết của NVIDIA trong việc tối ưu hóa hiệu năng AI. Thiết kế của nền tảng được tùy chỉnh cho các mô hình dựa trên kiến trúc MoE thưa, vốn yêu cầu trao đổi dữ liệu thường xuyên. Các tối ưu hóa như tăng tốc phần cứng cho định dạng dữ liệu NVFP4 của kiến trúc Blackwell và phân phối dữ liệu giúp tận dụng tối đa kiến trúc NVL72 và công nghệ chuyển mạch NVLink để mang lại hiệu năng cao nhất cho các mô hình như DeepSeek-R1.