Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

GigaIO đã công bố quan hệ đối tác chiến lược với d-Matrix để nâng cao các giải pháp suy luận AI cho doanh nghiệp. Quan hệ đối tác này kết hợp nền tảng suy luận Corsair của d-Matrix và kiến ​​trúc SuperNODE của GigaIO để cung cấp giải pháp đơn giản hóa việc triển khai và mở rộng hiệu quả khối lượng công việc suy luận AI. Nỗ lực chung này nhằm đáp ứng nhu cầu ngày càng tăng về khả năng AI hiệu suất cao, tiết kiệm năng lượng có thể mở rộng mà không bị ràng buộc bởi các hạn chế của hệ thống đa nút truyền thống.

Nền tảng SuperNODE của GigaIO hiện có thể hỗ trợ nhiều bộ tăng tốc d-Matrix Corsair trong một nút duy nhất, khiến nó trở thành nền tảng suy luận AI có khả năng mở rộng nhất trong ngành. Sự tích hợp này cho phép các tổ chức thoát khỏi sự phức tạp của các phương pháp điện toán phân tán truyền thống và triển khai khối lượng công việc suy luận theo lô ở quy mô lớn với latency cực thấp. Alan Benjamin, CEO của GigaIO, đã nhấn mạnh bản chất sáng tạo của giải pháp và khả năng hợp lý hóa việc triển khai và thích ứng với khối lượng công việc AI thay đổi trong khi cải thiện tổng chi phí sở hữu và hiệu quả hoạt động.

Quan hệ đối tác đã mang đến một giải pháp với số liệu hiệu suất đáng kinh ngạc, thiết lập một tiêu chuẩn mới cho suy luận AI doanh nghiệp: 30.000 token mỗi giây và tốc độ tương tác lên đến 10 lần so với các giải pháp thay thế dựa trên GPU. Ngoài ra, nó mang lại hiệu suất gấp 3 lần và hiệu quả năng lượng gấp 3 lần với chi phí tương đương, giúp triển khai AI bền vững hơn. Giám đốc điều hành d-Matrix Sid Sheth cho biết sự hợp tác này kết hợp kiến ​​trúc điện toán trong bộ nhớ hiệu quả của d-Matrix với nền tảng mạnh mẽ của GigaIO để biến Generative AI ở quy mô khả thi về mặt thương mại.

Nền tảng AI tiên tiến dựa trên PCIe Gen 5 của GigaIO là một thành phần quan trọng của sự tích hợp này, tạo điều kiện cho giao tiếp latency thấp giữa các bộ tăng tốc Corsair và tối đa hóa hiệu quả của kiến ​​trúc d-Matrix. Cách tiếp cận này loại bỏ các nút thắt thường liên quan đến khối lượng công việc suy luận phân tán. Sự thành công của quan hệ đối tác này được chứng minh thêm bằng những thành tựu gần đây của GigaIO trong chuẩn mực suy luận MLPerf, làm nổi bật vị thế dẫn đầu của công ty trong cơ sở hạ tầng AI. Benjamin kết luận bằng cách bày tỏ sự đánh giá cao đối với nhu cầu của thị trường về các giải pháp suy luận AI hiệu quả và có khả năng mở rộng hơn cũng như những cải tiến kỹ thuật đáng kể đã được mang lại thông qua quan hệ đối tác với d-Matrix.