Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Kinara™, Inc. đã giới thiệu bộ xử lý Ara-2 Edge AI, một con chip mới được thiết kế để cung cấp năng lượng cho các máy chủ và máy tính xách tay biên. Bộ xử lý được điều chỉnh để xử lý hiệu quả các ứng dụng như phân tích video và nhiều mô hình AI khác nhau, bao gồm cả những ứng dụng dựa trên kiến ​​trúc Transformer. Ara-2 tự hào có bước nhảy vọt về hiệu suất so với người tiền nhiệm, cung cấp sức mạnh gấp 5 đến 8 lần so với Ara-1. Sự tiến bộ này là nhờ khả năng cân bằng bộ nhớ trên chip và băng thông ngoài chip, cho phép các mô hình lớn chạy với độ trễ tối thiểu.

Các sản phẩm mới nhất của công ty đáp ứng nhu cầu ngày càng tăng về mô hình ngôn ngữ quy mô lớn (LLM) và AI tổng quát. Theo truyền thống, những công nghệ này dựa vào GPU trong trung tâm dữ liệu, dẫn đến độ trễ và chi phí cao cũng như những lo ngại về quyền riêng tư. Ara-2 của Kinara nhằm mục đích giảm bớt những vấn đề này bằng cách cho phép các mô hình AI phức tạp với hàng tỷ tham số chạy trực tiếp trên các thiết bị biên. Công cụ tính toán của bộ xử lý và bộ phát triển phần mềm (SDK) đi kèm được thiết kế để hỗ trợ hỗ trợ trực tiếp FP32, cũng như lượng tử hóa chính xác và thời gian chạy máy chủ điều chỉnh linh hoạt, giúp chạy các GPU đắt tiền dễ dàng hơn. Nó được cho là một giải pháp thay thế khả thi.

Trong một động thái chiến lược vào tháng 10 năm ngoái, Kinara đã gia nhập Liên minh nền tảng AI, do Ampere lãnh đạo, với mục tiêu chung là đơn giản hóa kiến ​​trúc hệ thống và thúc đẩy một hệ sinh thái AI hợp tác và cởi mở hơn. Sự hợp tác này dự kiến ​​sẽ mang lại hiệu suất vượt trội, cải thiện năng lượng và tiết kiệm chi phí so với các thiết lập GPU truyền thống. Lãnh đạo của Ampere đã bày tỏ sự nhiệt tình về tiềm năng hợp tác nhằm chuyển đổi việc cung cấp các giải pháp AI.

Bảo mật cũng là một tính năng chính của Ara-2, bao gồm khởi động an toàn, truy cập bộ nhớ được mã hóa và giao diện máy chủ an toàn để đáp ứng các yêu cầu khắt khe về triển khai AI của doanh nghiệp. Kinara cũng hỗ trợ bộ xử lý bằng SDK mạnh mẽ bao gồm trình biên dịch mô hình, bộ lập lịch đơn vị điện toán và bộ cân bằng tải cho các hệ thống có nhiều chip. SDK cũng cung cấp các tùy chọn lượng tử hóa linh hoạt, bao gồm chức năng lượng tử hóa tích hợp của Kinara và khả năng tương thích với các mô hình tiền lượng tử hóa PyTorch và TFLite, đảm bảo bộ công cụ toàn diện cho các nhà phát triển.