Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

SambaNova Systems nổi lên như một công ty có hiệu suất cao nhất trong tiêu chuẩn mô hình ngôn ngữ quy mô lớn (LLM) mới nhất do Phân tích nhân tạo thực hiện. Mẫu Samba-1 Turbo của công ty đã đạt được kỷ lục mới khi xử lý hơn 1.000 mã thông báo mỗi giây. Đây là một bước nhảy vọt về hiệu suất đối với Llama 3 8B. Giám đốc điều hành Rodrigo Liang cung cấp cho các doanh nghiệp các hệ thống AI tùy chỉnh, tiết kiệm chi phí, không hy sinh tốc độ để lấy độ chính xác, cho phép các tổ chức nâng cao quy trình làm việc và thúc đẩy đổi mới nhanh hơn. Ông nhấn mạnh những nỗ lực của công ty.

Micah Hill-Smith, đồng sáng lập và Giám đốc điều hành của Phân tích nhân tạo, thừa nhận công việc của SambaNova, lưu ý rằng hiệu suất suy luận của Samba-1 Turbo vượt trội hơn tất cả các điểm chuẩn khác. Sản lượng ấn tượng của mô hình là 1.084 mã thông báo mỗi giây, gấp hơn 8 lần tốc độ trung bình của các nhà cung cấp khác. Ngoài ra, chất lượng của mẫu Llama 3 Instruct (8B) của Samba-1 Turbo đã được xác nhận tuân thủ các tiêu chuẩn về độ chính xác 16-bit.

Cách tiếp cận của SambaNova khác với các đối thủ cạnh tranh ở chỗ nó có thể chạy các mẫu Llama 3 8B với tốc độ chưa từng có chỉ với 16 chip và lưu trữ tới 1000 điểm kiểm tra Llama 3 trên một nút duy nhất. Hiệu quả này không chỉ duy trì độ chính xác hoàn hảo mà còn giảm đáng kể chi phí so với các đối thủ yêu cầu hàng trăm chip cho các tác vụ tương tự. Công nghệ của công ty cho phép nhiều mô hình chạy đồng thời mà không làm giảm tốc độ, giảm tổng chi phí sở hữu xuống 10 lần.

Kunle Olukotun, người đồng sáng lập SambaNova và nhà khoa học máy tính nổi tiếng tại Đại học Stanford, đã nêu bật sự đổi mới đằng sau thành công và ca ngợi kiến ​​trúc luồng dữ liệu của chip SN40L. Thiết kế này giảm thiểu độ trễ và tối đa hóa thông lượng, cho phép các khả năng AI tức thời vượt trội hơn các giải pháp dựa trên GPU truyền thống. SambaNova mời các doanh nghiệp trải nghiệm trực tiếp khả năng của Samba-1 Turbo.