Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Công nghệ NVIDIA RTX và GeForce RTX đang mở ra một kỷ nguyên mới của PC AI và giới thiệu các tiêu chuẩn mới về hiệu suất cho các tác vụ tăng tốc AI. Các số liệu truyền thống như số khung hình trên giây được bổ sung bằng TOPS (nghìn tỷ phép tính mỗi giây), thước đo sức mạnh tính toán thô. Ví dụ: Copilot+ PC của Microsoft, được trang bị bộ xử lý thần kinh, có thể mang lại hiệu suất hơn 40 TOPS và xử lý các tác vụ AI đơn giản hơn. Tuy nhiên, GPU của NVIDIA, chẳng hạn như GeForce RTX 4090, có hiệu suất vượt quá 1.300 TOPS, cần thiết cho các ứng dụng AI phức tạp hơn.

Ngoài TOPS, hiệu suất của các mô hình ngôn ngữ quy mô lớn (LLM) được đo bằng mã thông báo được tạo mỗi giây và kích thước lô (số lượng đầu vào được xử lý đồng thời). GPU NVIDIA RTX có đủ VRAM và Tensor Cores sẽ vượt trội trong các lĩnh vực này, đặc biệt là khi kết hợp với bộ phát triển phần mềm NVIDIA TensorRT. Sự kết hợp này làm tăng đáng kể thông lượng, đặc biệt là khi kích thước lô tăng lên, khiến GPU RTX trở thành lựa chọn hoàn hảo để xử lý LLM.

Trong lĩnh vực tạo hình ảnh dựa trên AI, tốc độ là yếu tố quan trọng nhất. Stable Diffusion, một mô hình chuyển đổi lời nhắc văn bản thành hình ảnh, chạy nhanh hơn đáng kể trên GPU RTX so với CPU và NPU. Sử dụng TensorRT sẽ tăng tốc quá trình này. Điểm chuẩn của UL Procyon AI Image Generation cho thấy GPU GeForce RTX 4080 SUPER tăng tốc 50%. Các cải tiến TensorRT sắp tới cho Stable Diffusion 3 sẽ cải thiện hơn nữa hiệu suất và cải thiện hiệu suất bộ nhớ.

Những lợi ích thực tế của những tiến bộ này được thể hiện rõ trong các ứng dụng trong thế giới thực. Ví dụ: khi Jan.ai tích hợp TensorRT-LLM vào ứng dụng chatbot của mình, nó đã nhận thấy những cải tiến đáng kể. Giờ đây, người dùng có thể lặp lại các lời nhắc bằng hình ảnh nhanh hơn nhiều trên GPU RTX, với lợi ích bổ sung là giữ dữ liệu ở chế độ riêng tư trên máy hỗ trợ RTX cục bộ của họ. Tác động hữu hình này đến hiệu quả và bảo mật nêu bật tiềm năng của công nghệ NVIDIA trong việc chuyển đổi các tác vụ được AI hỗ trợ. nước xốt: