Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Công ty Generative AI SambaNova thông báo rằng mô hình DeepSeek-R1 671B của họ hiện đang chạy trên nền tảng đám mây của mình, mang lại hiệu suất đáng kinh ngạc là 198 token mỗi giây. Hiệu suất này là vô song trong ngành, cung cấp cho các nhà phát triển và doanh nghiệp một giải pháp hiệu quả và tiết kiệm chi phí hơn cho suy luận AI ở quy mô lớn. Tốc độ cao này là nhờ chip SN40L RDU của công ty, dự kiến ​​sẽ cải thiện hơn nữa để nhanh hơn gấp 5 lần so với một giá đỡ GPU hiện đại vào cuối năm nay.

Tổng giám đốc điều hành của công ty, Rodrigo Liang, nhấn mạnh tầm quan trọng của việc có thể chạy toàn bộ mô hình DeepSeek-R1, không chỉ là phiên bản đơn giản hóa, ở tốc độ cao như vậy. Sự tiến bộ này đặc biệt quan trọng đối với các mô hình suy luận đòi hỏi một số lượng lớn mã thông báo để tạo ra đầu ra tốt. Tiến sĩ Andrew Ng, một nhân vật nổi tiếng trong lĩnh vực AI, cũng nhấn mạnh tác động mang tính chuyển đổi mà công nghệ của SambaNova sẽ có đối với khả năng xử lý các mô hình suy luận phức tạp của các nhà phát triển.

Các chuẩn mực độc lập của Artificial Analysis đã xác nhận rằng việc triển khai DeepSeek-R1 trên đám mây của SambaNova là tốc độ đầu ra nhanh nhất được ghi nhận cho mô hình này. Đồng sáng lập Artificial Analysis George Cameron lưu ý rằng đầu ra nhanh là quan trọng đối với các mô hình suy luận sử dụng các mã thông báo này để cải thiện chất lượng phản hồi. Công việc của SambaNova nhằm mục đích thúc đẩy việc sử dụng các mô hình suy luận trong các tình huống mà latency là yếu tố chính.

SambaNova đã tận dụng kiến ​​trúc luồng dữ liệu độc đáo và thiết kế bộ nhớ ba tầng để giải quyết thách thức về chi phí suy luận cao liên quan đến DeepSeek-R1. Cách tiếp cận này đã giảm đáng kể các yêu cầu về phần cứng để chạy mô hình từ 40 giá GPU xuống còn một giá RDU của SambaNova. Công ty đang chuẩn bị mở rộng đáng kể năng lực, hứa hẹn sẽ cung cấp gấp hơn 100 lần năng lực toàn cầu hiện tại của DeepSeek-R1 vào cuối năm nay, định vị RDU là giải pháp doanh nghiệp hiệu quả nhất cho các mô hình suy luận.