Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA hôm nay đã công bố một bộ công cụ phát triển phần mềm (SDK) mới được thiết kế riêng để tối ưu hóa các mô hình ngôn ngữ quy mô lớn (LLM) và các mô hình ngôn ngữ thị giác (VLM) trên nền tảng DRIVE AGX được sử dụng cho xe tự hành. Được xây dựng trên công cụ suy luận NVIDIA TensorRT, DriveOS LLM SDK nhằm mục đích tạo điều kiện thuận lợi cho việc triển khai các mô hình tiên tiến này trên các nền tảng ô tô thường bị hạn chế về tài nguyên.

SDK chứa một bộ thành phần được thiết kế để hợp lý hóa quy trình suy luận của LLM, bao gồm thư viện plugin với các kernel chú ý tùy chỉnh, trình phân tích/giải mã hiệu quả, trình lấy mẫu dựa trên CUDA cho các tác vụ tạo văn bản và trình giải mã để tạo chuỗi văn bản. Các công cụ này được tạo ra để cho phép triển khai LLM hiệu quả trên nền tảng ô tô, cân bằng nhu cầu về latency thấp và hiệu suất cao.

DriveOS LLM SDK hỗ trợ nhiều LLM tiên tiến và tương thích với các nền tảng NVIDIA DRIVE AGX Orin và NVIDIA DRIVE AGX Thor. Nó cũng có tính linh hoạt trong các định dạng chính xác, bao gồm FP16, FP8, NVFP4 và INT4, để chứa các LLM quy mô lớn trên nhiều nền tảng khác nhau và giảm mức sử dụng bộ nhớ. SDK đơn giản hóa quy trình triển khai thành hai bước chính: xuất mô hình ONNX và xây dựng công cụ TensorRT, có thể thực hiện bằng một lệnh đơn giản.

Ngoài việc hỗ trợ LLM truyền thống, DriveOS LLM SDK còn giải quyết các yêu cầu riêng biệt của các ứng dụng ô tô, thường liên quan đến các đầu vào đa phương thức. Nó bao gồm các mô-đun suy luận chuyên biệt và các tiện ích cho VLM, chẳng hạn như mô hình Qwen2 VL, có thể xử lý hiệu quả cả dữ liệu trực quan và văn bản. Bộ công cụ toàn diện và quy trình triển khai thân thiện với người dùng của SDK nhằm mục đích nâng cao khả năng của các ứng dụng do AI điều khiển trong ngành công nghiệp ô tô.