Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Trí tuệ nhân tạo (AI) trên PC chạy Windows 11 sẽ biến đổi trải nghiệm cho nhiều đối tượng người dùng, từ game thủ, nhà sáng tạo cho đến nhân viên văn phòng và sinh viên. Công nghệ này mang đến cơ hội đáng kể để cải thiện năng suất cho hàng triệu người dùng PC Windows và máy trạm được trang bị GPU RTX. Công nghệ NVIDIA RTX đơn giản hóa quy trình để các nhà phát triển tạo ra các ứng dụng AI thay đổi cách chúng ta sử dụng máy tính.

Các tối ưu hóa, mô hình và tài nguyên mới giúp nhà phát triển mang lại trải nghiệm mới cho người dùng cuối nhanh hơn. Các bản cập nhật sắp tới cho TensorRT-LLM, phần mềm nguồn mở hỗ trợ hiệu suất suy luận AI, sẽ hỗ trợ các mô hình ngôn ngữ quy mô lớn mới, giúp việc truy cập AI đòi hỏi khắt khe hơn có thể thực hiện được trên máy tính để bàn và máy tính xách tay có GPU RTX bắt đầu với 8 GB VRAM. . TensorRT-LLM dành cho Windows sẽ sớm tương thích với API trò chuyện phổ biến của OpenAI thông qua trình bao bọc mới, cho phép hàng trăm dự án và ứng dụng dành cho nhà phát triển chạy cục bộ trên PC hỗ trợ RTX. Có thể giữ dữ liệu riêng tư, độc quyền trên PC chạy Windows 11.

AI Workbench là bộ công cụ tích hợp cho phép các nhà phát triển nhanh chóng tạo, thử nghiệm và tùy chỉnh các mô hình AI và LLM tổng hợp được đào tạo trước trên PC hoặc máy trạm. Cung cấp cho các nhà phát triển một nền tảng duy nhất để tổ chức các dự án AI của họ và điều chỉnh mô hình cho phù hợp với các trường hợp sử dụng cụ thể. Điều này giúp các nhà phát triển dễ dàng cộng tác và triển khai liền mạch hơn, nhanh chóng tạo ra các mô hình AI tổng hợp có khả năng mở rộng và tiết kiệm chi phí.

Để hỗ trợ các nhà phát triển AI, NVIDIA và Microsoft đang phát hành tiện ích mở rộng DirectML giúp tăng tốc Llama 2, một trong những mô hình AI cơ bản phổ biến nhất. Ngoài việc đặt ra các tiêu chuẩn mới về hiệu suất, giờ đây các nhà phát triển còn có nhiều tùy chọn hơn để triển khai giữa các nhà cung cấp. Bản phát hành TensorRT-LLM v0.6.0 tiếp theo, được phát hành vào cuối tháng này, sẽ cải thiện hiệu suất suy luận (nhanh hơn tới 5 lần) và cho phép hỗ trợ các LLM phổ biến khác như Mistral 7B mới và Nemotron-3 8B. Điều đó đúng. nước xốt: