Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố TensorRT Edge-LLM, một khung phần mềm mã nguồn mở C++ mới được thiết kế để cải thiện hiệu suất của các mô hình ngôn ngữ quy mô lớn (LLM) và mô hình ngôn ngữ thị giác (VLM) trong điện toán biên. Khung phần mềm này được xây dựng dành riêng cho các ứng dụng thời gian thực trong lĩnh vực ô tô và robot, đáp ứng nhu cầu về latency thấp và hoạt động ngoại tuyến đáng tin cậy trên các nền tảng như NVIDIA DRIVE AGX Thor và NVIDIA Jetson Thor.

TensorRT Edge-LLM có các phụ thuộc tối thiểu và thiết kế gọn nhẹ, dẫn đến mức tiêu thụ tài nguyên thấp, phù hợp cho các ứng dụng biên trong môi trường sản xuất. Nó bao gồm các tính năng nâng cao như giải mã dự đoán EAGLE-3 và hỗ trợ lượng tử hóa NVFP4, rất cần thiết cho các trường hợp sử dụng thời gian thực đòi hỏi khắt khe mà các ngành công nghiệp này đang phải đối mặt.

Một số đối tác trong ngành đã và đang tích hợp TensorRT Edge-LLM vào sản phẩm của họ: Bosch đang sử dụng TensorRT Edge-LLM để phát triển buồng lái hỗ trợ trí tuệ nhân tạo với tương tác giọng nói tự nhiên, nền tảng AIBOX của ThunderSoft sẽ sử dụng khung công nghệ này để mang lại trải nghiệm phản hồi nhanh nhạy trong xe, và MediaTek cũng đang sử dụng TensorRT Edge-LLM để hỗ trợ các ứng dụng trí tuệ nhân tạo và giao diện người-máy trong khoang xe.

Khung phần mềm này đơn giản hóa quy trình triển khai suy luận LLM và VLM, từ việc xuất mô hình đến chạy suy luận trên phần cứng mục tiêu. Sự có mặt của nó trong hệ sinh thái NVIDIA Jetson đánh dấu một bước tiến lớn hướng tới việc đưa các khả năng AI tiên tiến đến vùng biên. Các nhà phát triển có thể truy cập TensorRT Edge-LLM thông qua GitHub và tích hợp nó vào các giải pháp điện toán biên của họ bằng cách làm theo tài liệu được cung cấp.