Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Sự phát triển của Trí tuệ Nhân tạo Vật lý đang có một bước tiến đáng kể với sự ra mắt của TensorRT Edge-LLM của NVIDIA, một môi trường chạy suy luận C++ hiệu năng cao. Phần mềm này được thiết kế để nâng cao khả năng của các phương tiện tự hành và robot hình người bằng cách cho phép suy luận độ chính xác cao và tương tác đa phương thức thời gian thực trong giới hạn về năng lượng và latency. Phiên bản mới nhất mở rộng các khả năng cơ bản cho nền tảng NVIDIA DRIVE AGX Thor và NVIDIA Jetson Thor, giới thiệu các kiến ​​trúc biên tiên tiến và hỗ trợ tối ưu cho dòng mô hình mở NVIDIA Nemotron.

Hiệu quả trong điện toán đang được định nghĩa lại khi TensorRT Edge-LLM cho phép hỗ trợ đầy đủ mô hình Mixture of Experts (MoE) ở biên, tối ưu hóa các mô hình như Qwen3 MoE. Cách tiếp cận này cho phép các thiết bị biên khai thác sức mạnh suy luận của các mô hình lớn hơn trong khi vẫn duy trì latency suy luận và mức tiêu thụ điện năng thấp hơn. Sự thay đổi này rất quan trọng để triển khai khả năng suy luận độ chính xác cao trên các nền tảng như NVIDIA DRIVE AGX Thor và NVIDIA Jetson Thor, cho phép các nhà phát triển nâng cao trí thông minh của các hệ thống tự động mà không vượt quá ngưỡng về điện năng và latency .

TensorRT Edge-LLM cũng hỗ trợ NVIDIA Nemotron 2 Nano, tạo điều kiện cho một loại suy luận Hệ thống 2 mới trên các chipset nhúng. Điều này đặc biệt có lợi cho các nhà phát triển tạo ra các trợ lý AI tiên tiến hoặc các tác nhân hội thoại robot, vì nó giải quyết các thách thức về bộ nhớ và latency liên quan đến việc triển khai các mô hình ngôn ngữ lớn ở biên. Môi trường chạy cung cấp các nhân được tối ưu hóa giúp tăng tốc các lớp lai, cho phép sử dụng các cửa sổ ngữ cảnh lớn cho các quy trình tạo phức tạp được tăng cường bằng truy xuất ở biên trong khi vẫn kiểm soát được dung lượng bộ nhớ của thiết bị.

Ngoài khả năng suy luận, TensorRT Edge-LLM hiện hỗ trợ Qwen3-TTS và Qwen3-ASR cho tương tác mô hình đa phương thức gốc, giúp đơn giản hóa quá trình xử lý giọng nói từ đầu đến cuối. Việc tối ưu hóa này giảm latency và cho phép tổng hợp giọng nói tự nhiên trực tiếp trên chip, tăng cường tương tác giữa người lái và xe tự hành. Hơn nữa, môi trường chạy hỗ trợ Cosmos Reason 2, một VLM suy luận mở được xây dựng cho trí tuệ nhân tạo vật lý và robot, cho phép robot hình người suy luận dựa trên kiến ​​thức vật lý thông thường và lập kế hoạch hành động trong thời gian thực.

NVIDIA cũng đang chuẩn bị giới thiệu Alpamayo 1, một quy trình làm việc tích hợp tư duy logic Hệ thống 2 vào các thiết bị biên. Bước tiến này sẽ cho phép xe tự hành lập kế hoạch quỹ đạo chính xác, vượt ra ngoài phương pháp hồi quy đơn giản để tạo ra các quỹ đạo tương lai đa dạng, có độ chính xác cao. Với độ trễ khả thi trong sản xuất trên DRIVE Thor, Alpamayo 1 thể hiện một bước chuyển biến đáng kể hướng tới các mô hình VLA đầu cuối trong sản xuất xe tự hành.

Các nhà phát triển quan tâm đến việc tận dụng những tiến bộ này có thể khám phá các tính năng và ví dụ mới trong kho lưu trữ GitHub TensorRT Edge-LLM được cập nhật hoặc thông qua các bản phát hành NVIDIA DriveOS mới nhất. Môi trường chạy này được thiết lập để trở thành nền tảng xây dựng thế hệ máy tự hành tiếp theo, loại bỏ sự phụ thuộc vào Python và đảm bảo dung lượng bộ nhớ có thể dự đoán được cho các ứng dụng ô tô và robot.