Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Ambarella, Inc. đã công bố những cải tiến mới nhất về công nghệ AI biên tại CES, giới thiệu khả năng của dòng N1 SoC mới. Công ty có kế hoạch kích hoạt AI tổng quát, vốn trước đây chỉ giới hạn trong môi trường máy chủ do nhu cầu tính toán cao, trên các thiết bị biên. Dòng N1 SoC của Ambarella được thiết kế để xử lý các tác vụ phức tạp như phân tích bảo mật video và robot, đồng thời giảm đáng kể mức tiêu thụ điện năng so với các giải pháp GPU hàng đầu.

Công ty bán dẫn này đang chuẩn bị cung cấp khả năng xử lý AI tổng quát trên nhiều loại SoC, bao gồm cả dòng CV72 và N1, nhắm đến các ứng dụng từ trung cấp đến cao cấp. SoC của Ambarella nổi bật về hiệu quả, tiết kiệm năng lượng lên tới 3 lần cho mỗi mã thông báo được tạo ra so với GPU và các công cụ tăng tốc AI khác. Nền tảng nhà phát triển Cooper™ của công ty hỗ trợ các SoC này và Ambarella đã hợp lý hóa quy trình tích hợp cho khách hàng bằng cách tối ưu hóa trước các mô hình ngôn ngữ quy mô lớn phổ biến có sẵn thông qua Cooper Model Garden.

Kiến trúc SoC của Ambarella được thiết kế riêng cho các ứng dụng yêu cầu xử lý video và AI đồng thời. Công nghệ của công ty sẵn sàng nâng cao tầm nhìn máy tính bằng cách đưa khả năng hiểu bối cảnh và bối cảnh vào các thiết bị như camera an ninh và robot công nghiệp. Quá trình xử lý AI tổng hợp trên thiết bị không chỉ tăng tốc hiệu suất mà còn tăng cường quyền riêng tư và giảm chi phí sở hữu. Cách tiếp cận của Ambarella cho phép LLM dành riêng cho ứng dụng được tùy chỉnh trực tiếp ở biên, trái ngược với các mô hình một kích cỡ phù hợp với tất cả dựa trên máy chủ truyền thống.

Sê-ri N1 tận dụng kiến ​​trúc CV3-HD của Ambarella, ban đầu được phát triển cho các phương tiện tự hành và tái sử dụng công nghệ năng lượng thấp, hiệu suất cao này để thực hiện LLM đa phương thức. Ví dụ: SoC N1 có thể chạy mô hình Llama2-13B một cách hiệu quả, mang lại hiệu suất vượt trội trong khi vẫn duy trì mức tiêu thụ điện năng thấp. Sự đổi mới này tạo điều kiện thuận lợi cho việc tích hợp AI tổng quát vào nhiều ứng dụng khác nhau, từ hộp AI cố định đến robot di động. Ambarella đang trình diễn khả năng LLM đa phương thức của N1 SoC tại CES, nêu bật tiềm năng của công nghệ này trong thị trường AI biên.