Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA cho biết việc mở rộng trí tuệ nhân tạo tạo sinh ra ngoài các trung tâm dữ liệu đang thúc đẩy nhu cầu triển khai mô hình hiệu quả trên các thiết bị biên với giới hạn bộ nhớ nghiêm ngặt. Các nhà phát triển ngày càng tập trung vào việc chạy các mô hình lớn trong môi trường bị hạn chế.

Công ty giải thích rằng nền tảng Jetson của họ hỗ trợ tối ưu hóa hiệu năng bằng cách cân bằng việc sử dụng bộ nhớ CPU và GPU. Việc xử lý bộ nhớ không hiệu quả được mô tả là yếu tố chính gây ra các vấn đề latency và sự không ổn định của hệ thống trong các ứng dụng biên.

Nhiều lớp tối ưu hóa đã được vạch ra, bao gồm việc vô hiệu hóa các dịch vụ hệ thống không sử dụng, tinh chỉnh các quy trình suy luận và áp dụng các kỹ thuật lượng tử hóa mô hình. Những phương pháp này được cho là sẽ cải thiện hiệu suất đồng thời cho phép xử lý các khối lượng công việc phức tạp hơn trên phần cứng hiện có.

Các định dạng độ chính xác thấp như FP8 và INT4 được nhấn mạnh vì khả năng giảm đáng kể mức sử dụng bộ nhớ trong khi vẫn duy trì độ chính xác chấp nhận được. Các chiến lược kết hợp được báo cáo là có thể khai thác các khả năng AI tiên tiến trong điều kiện tài nguyên biên hạn chế.