Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Những tiến bộ nhanh chóng trong các mô hình ngôn ngữ quy mô lớn (LLM) đang góp phần vào sự phát triển nhanh chóng của hệ sinh thái, với các kiến ​​trúc mô hình đa dạng đang được phát triển mỗi ngày. Những mô hình lớn hơn này đang mở ra những khả năng và trường hợp sử dụng mới, dẫn đến việc áp dụng rộng rãi trong nhiều ngành khác nhau. Lý luận LLM đang thay đổi bối cảnh trung tâm dữ liệu. Các doanh nghiệp được hưởng lợi từ hiệu suất được cải thiện và độ chính xác tăng lên, dẫn đến tổng chi phí sở hữu (TCO) cao hơn. Những đổi mới trong các mô hình này cải thiện trải nghiệm của khách hàng, từ đó dẫn đến tăng doanh thu và lợi nhuận. Tuy nhiên, việc đạt được hiệu suất tốt nhất bằng cách sử dụng LLM tiên tiến trong các dự án triển khai suy luận không phải là không có thách thức. Việc tối ưu hóa hiếm khi tự động và yêu cầu người dùng xem xét các yếu tố tinh chỉnh như tính song song, quy trình từ đầu đến cuối và kỹ thuật lập lịch nâng cao. Ngoài ra, một nền tảng điện toán có thể xử lý độ chính xác hỗn hợp mà không làm mất đi độ chính xác là điều cần thiết. "TensorRT-LLM" cung cấp giải pháp cho những thách thức này. Điều này bao gồm Trình biên dịch học sâu của TensorRT, các hạt nhân được tối ưu hóa, xử lý trước và sau cũng như giao tiếp đa GPU/đa nút. Tất cả những điều này được đóng gói thành một API Python nguồn mở đơn giản để xác định, tối ưu hóa và chạy LLM để suy luận trong sản xuất. NVIDIA TensorRT-LLM hiện đang ở giai đoạn truy cập sớm và sẽ sớm được tích hợp vào khung NVIDIA NeMo. Điều này sẽ cho phép các nhà phát triển và nhà nghiên cứu truy cập TensorRT-LLM thông qua khung NeMo trên NGC hoặc kho lưu trữ nguồn trên GitHub.