Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu TensorRT Model Connect để giúp các nhà phát triển phần mềm triển khai các mô hình trí tuệ nhân tạo mã nguồn mở vào môi trường C++ gốc. Bộ sưu tập các triển khai tham chiếu này loại bỏ các chuyển đổi thủ công phức tạp, cho phép các nhà phát triển ứng dụng xây dựng các gói triển khai trực tiếp bằng các lệnh dòng lệnh đơn giản.

Các kỹ sư có thể sử dụng giao diện lập trình hai cấp tùy thuộc vào yêu cầu kiểm soát hoạt động. Các tùy chọn cấp cao hơn xử lý các tác vụ tiền xử lý tự động, trong khi các cơ chế cấp thấp hơn cho phép thao tác trực tiếp với tensor và tích hợp nhân xử lý đồ họa tùy chỉnh.

Các quy trình tích hợp liên tục tận dụng các tác nhân lập trình tự động để theo kịp tốc độ cập nhật mô hình mã nguồn mở nhanh chóng. Bằng cách đơn giản hóa con đường từ định danh kho lưu trữ đến suy luận C++ được tăng tốc, công ty điện toán này nâng cao tốc độ triển khai tổng thể trên các kiến ​​trúc phần cứng xử lý đồ họa được hỗ trợ.