Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Expedera, Inc., nhà cung cấp nổi bật tài sản trí tuệ bán dẫn Đơn vị xử lý thần kinh (NPU), đã thông báo rằng họ đang tăng cường NPU gốc của mình để hỗ trợ AI tổng hợp trên các thiết bị biên. Các sản phẩm mới nhất của công ty được thiết kế để quản lý hiệu quả cả khối lượng công việc AI truyền thống và tổng quát, bao gồm các mô hình ngôn ngữ quy mô lớn (LLM) như khuếch tán ổn định. Trong các nghiên cứu điểm chuẩn, Origin IP phù hợp với hiệu suất và độ chính xác của nền tảng đám mây trong khi vẫn duy trì hiệu quả sử dụng năng lượng cần thiết cho các thiết bị biên và thiết bị di động.

Việc tích hợp LLM vào Origin NPU thể hiện một bước tiến đáng kể trong xử lý ngôn ngữ tự nhiên, cho phép các ứng dụng từ chatbot đến đề xuất được cá nhân hóa chạy trực tiếp trên các thiết bị biên. Quá trình chuyển đổi này nhằm mục đích giảm sự phụ thuộc vào các trung tâm dữ liệu tập trung và cung cấp cho các OEM giải pháp đáp ứng và hiệu quả hơn về mặt chi phí. Khả năng chạy LLM cục bộ trên thiết bị cũng hứa hẹn sẽ giảm độ trễ và cải thiện độ tin cậy cũng như trải nghiệm người dùng.

Da Chuang, đồng sáng lập và Giám đốc điều hành của Expedera, nhấn mạnh cam kết của công ty trong việc cung cấp các giải pháp NPU tùy chỉnh nhằm giải quyết các nhu cầu cụ thể của khách hàng, bao gồm cả hỗ trợ LLM. Các giải pháp Origin IP được biết đến với hiệu suất và hiệu suất năng lượng vượt trội, được cho là vượt trội so với các giải pháp nội bộ và cạnh tranh.

Kiến trúc NPU dựa trên gói đã được cấp bằng sáng chế của Expedera được thiết kế để khắc phục những hạn chế của các trình tăng tốc AI theo lớp và theo lớp truyền thống, chẳng hạn như các vấn đề về chia sẻ bộ nhớ và bảo mật. Kiến trúc có thể mở rộng của Origin NPU có thể cung cấp tới 128 TOPS trên mỗi lõi với mức sử dụng trung bình là 80%, vượt xa đáng kể mức trung bình của ngành. Hiệu quả này nhằm mục đích giảm lượng silicon không được sử dụng đúng mức trong thiết bị. Để biết thêm thông tin hoặc yêu cầu, vui lòng truy cập trang web của Expedera.