Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA luôn đi đầu trong việc nâng cao hiệu suất của các mô hình AI tổng hợp, mang đến cho doanh nghiệp khả năng tăng tốc tạo mã thông báo, giảm chi phí vận hành và cải thiện trải nghiệm người dùng. Các vi dịch vụ suy luận NVIDIA NIM được tùy chỉnh để nhanh chóng triển khai các mô hình này trên nhiều cơ sở hạ tầng tăng tốc NVIDIA. NIM tận dụng công cụ tối ưu hóa suy luận TensorRT-LLM và các API tiêu chuẩn ngành để cung cấp suy luận AI có độ trễ thấp, thông lượng cao, có thể mở rộng quy mô theo yêu cầu.

Sự hợp tác của công ty với Hugging Face, một nền tảng mô hình AI nổi tiếng, là một bước quan trọng trong việc đơn giản hóa quy trình áp dụng cho các nhà phát triển. Sự hợp tác này cho phép bạn tích hợp NVIDIA NIM nhanh chóng và dễ dàng chỉ bằng vài cú nhấp chuột, bắt đầu với các mẫu như Llama 3 8B và Llama 3 70B. Sức mạnh tổng hợp giữa khả năng tối ưu hóa của NVIDIA và giao diện thân thiện với người dùng của Hugging Face cho phép các nhà phát triển triển khai hiệu quả các mô hình cho nhà cung cấp dịch vụ đám mây ưa thích của họ.

NIM của NVIDIA đã chứng tỏ khả năng mang lại thông lượng vượt trội và tạo ra mã thông báo nhanh hơn tới 5 lần cho các doanh nghiệp. Cải tiến này rất quan trọng đối với các ứng dụng AI tổng hợp trong đó tốc độ xử lý mã thông báo có liên quan trực tiếp đến việc tạo doanh thu. Ngoài ra, điểm cuối NIM của Hugging Face cho phép người dùng khởi chạy các phiên bản trên đám mây, triển khai các mô hình được NVIDIA tối ưu hóa và bắt đầu suy luận nhanh chóng, giúp chuyển các mô hình AI từ giai đoạn phát triển sang sản xuất sẽ hiệu quả hơn.

Quá trình tích hợp với Ôm Mặt được thiết kế thân thiện với người dùng, cho phép các nhà phát triển tạo các điểm cuối NIM chuyên biệt trong một loạt các bước đơn giản. Quá trình này bao gồm việc chọn nhà cung cấp dịch vụ đám mây thích hợp, định cấu hình cơ sở hạ tầng và chọn bộ chứa NVIDIA NIM để triển khai. Kết quả là một thiết lập liền mạch cho phép bạn thiết lập và chạy điểm cuối suy luận của mình trong vòng vài phút. Điều này thể hiện cam kết của NVIDIA trong việc tăng cường hiệu quả và thúc đẩy sự đổi mới trong lĩnh vực AI sáng tạo. nước xốt: