Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố DGX Spark, một siêu máy tính nhỏ gọn được thiết kế để đáp ứng nhu cầu của các nhà phát triển AI đang gặp phải hạn chế về bộ nhớ và vấn đề truy cập phần mềm trên hệ thống máy tính để bàn. DGX Spark tự hào có hiệu suất tính toán AI FP4 1 petaflop, bộ nhớ hệ thống 128GB và băng thông bộ nhớ 273GB/giây. Với bộ phần mềm AI NVIDIA được cài đặt sẵn, các nhà phát triển có thể xử lý các tác vụ quy mô lớn, đòi hỏi tính toán cao tại chỗ mà không cần phụ thuộc vào tài nguyên đám mây hoặc trung tâm dữ liệu.

NVIDIA đã chứng minh hiệu năng của DGX Spark trong việc tinh chỉnh các mô hình AI đòi hỏi nhiều bộ nhớ. Các bài kiểm Benchmark cho thấy hiệu năng ấn tượng lên đến 82.739,2 token/giây khi tinh chỉnh mô hình Llama 3.2B. Những khối lượng công việc đòi hỏi nhiều bộ nhớ như vậy là không thể đạt được với GPU tiêu dùng 32GB tiêu chuẩn, qua đó làm nổi bật sức mạnh xử lý vượt trội của DGX Spark.

DGX Spark cũng vượt trội trong việc tạo hình ảnh, hỗ trợ các mô hình có độ phân giải và độ chính xác cao. Bộ nhớ GPU lớn và hiệu suất tính toán của hệ thống cho phép tạo ra hình ảnh chi tiết nhanh chóng. Sử dụng mô hình Flux.1 12B, hình ảnh 1K có thể được tạo ra sau mỗi 2,6 giây với độ chính xác FP4.

Đối với các ứng dụng khoa học dữ liệu, DGX Spark tận dụng các thư viện NVIDIA CUDA-X, bao gồm cuML và cuDF, để tăng tốc các thuật toán học máy và tác vụ phân tích dữ liệu. Hệ thống có thể xử lý các tập dữ liệu 250MB chỉ trong vài giây, chứng minh khả năng xử lý hiệu quả các thuật toán đòi hỏi tính toán chuyên sâu.

Đối với khối lượng công việc suy luận, GPU Blackwell của DGX Spark hỗ trợ nhiều định dạng dữ liệu 4 bit, bao gồm NVFP4, đạt độ chính xác gần bằng FP8 với độ suy giảm dưới 1%. Điều này cho phép sử dụng các mô hình nhỏ hơn mà không làm giảm độ chính xác, cải thiện hiệu suất tổng thể. Hiệu suất AI một petaflop cho phép xử lý nhanh hơn và thời gian phản hồi mã thông báo đầu tiên nhanh hơn, cải thiện trải nghiệm người dùng và thông lượng.

DGX Spark của NVIDIA là một bước tiến vượt bậc cho các nhà phát triển AI, mang đến một giải pháp thay thế mạnh mẽ cho việc phụ thuộc vào đám mây và trung tâm dữ liệu. Hiệu suất vượt trội của nó trong việc tinh chỉnh, tạo hình ảnh, khoa học dữ liệu và khối lượng công việc suy luận khiến nó trở thành một công cụ giá trị cho các nhà phát triển muốn mở rộng ranh giới nghiên cứu và ứng dụng AI.