Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

SiMa.ai gần đây đã công bố rằng họ đã triển khai DeepSeek-R1-Distill-Qwen-1.5B trên nền tảng ONE của mình cho AI biên, chứng minh hiệu suất vượt trội với mức tiêu thụ điện năng dưới 10 watt. Thành tựu này là một bước tiến lớn trong việc triển khai công nghệ AI biên hiệu quả và an toàn. Được hỗ trợ bởi phần mềm MLSoC Modalix và Palette, nền tảng ONE của công ty chứng minh khả năng phản hồi tuyệt vời với thời gian đến mã thông báo đầu tiên (TTFT) chỉ vài mili giây và mở rộng hiệu quả với độ phức tạp của truy vấn.

Krishna Rangasayee, Tổng giám đốc điều hành kiêm nhà sáng lập SiMa.ai, đã nhấn mạnh tầm quan trọng của các mô hình nguồn mở như DeepSeek R1 trong việc dân chủ hóa AI và tăng cường triển khai GenAI tại biên. Công nghệ của SiMa.ai được thiết kế để mang lại hiệu suất cao hoàn toàn tại biên trong khi vẫn duy trì mức tiêu thụ điện năng thấp, tạo ra những cơ hội mới để triển khai AI tại nhiều thị trường khác nhau, bao gồm robot, ô tô và hàng không vũ trụ.

Chi tiết triển khai cho thấy DeepSeek-R1-Distill-Qwen-1.5B hoạt động với hiệu suất năng lượng hàng đầu trong ngành và thời gian phản hồi nhanh, với TTFT dao động từ 0,67 đến 2,50 giây. Công ty cũng có lộ trình tối ưu hóa để cải thiện hiệu suất hơn nữa. Bằng cách hoạt động hoàn toàn ở biên, SiMa.ai trao cho người dùng quyền kiểm soát dữ liệu của họ và tránh các vấn đề về bảo mật và quyền riêng tư thường đi kèm với triển khai đám mây.

Các tổ chức quan tâm đến nền tảng ONE của SiMa.ai và triển khai DeepSeek R1 có thể tham gia Chương trình Truy cập sớm Modalix, cung cấp thông tin chi tiết về lộ trình của công ty cho các mô hình ngôn ngữ quy mô lớn và các giải pháp AI tạo sinh. Để biết thêm thông tin và tham gia, hãy truy cập trang web SiMa.ai.