Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Hammerspace, nhà điều phối hàng đầu của Chu kỳ dữ liệu tiếp theo, đã công bố kiến ​​trúc dữ liệu độc đáo để đào tạo suy luận mô hình ngôn ngữ quy mô lớn (LLM) trong môi trường siêu quy mô. Kiến trúc đổi mới này là kiến ​​trúc duy nhất cho phép các kỹ sư AI tạo ra một kiến ​​trúc dữ liệu thống nhất kết hợp hiệu suất của các hệ thống tệp song song cấp siêu máy tính với khả năng truy cập ứng dụng và nghiên cứu dễ dàng vào NFS tiêu chuẩn.

Sự thành công của chiến lược AI phụ thuộc vào khả năng mở rộng quy mô với số lượng lớn GPU và tính linh hoạt trong việc truy cập cả kho dữ liệu cục bộ và phân tán. Các tổ chức cũng cần có khả năng sử dụng dữ liệu bất kể cơ sở hạ tầng phần cứng hoặc đám mây hiện đang tồn tại và có sẵn các biện pháp kiểm soát bảo mật cần thiết để duy trì các chính sách quản trị dữ liệu. Những yêu cầu này đặc biệt quan trọng trong việc phát triển LLM. LLM thường yêu cầu sử dụng hàng trăm tỷ tham số, hàng chục nghìn GPU và hàng trăm petabyte dữ liệu phi cấu trúc thuộc nhiều loại khác nhau.

Hammerspace công bố một kiến ​​trúc đã được chứng minh mang lại hiệu suất, tính dễ triển khai và hỗ trợ phần cứng và phần mềm dựa trên tiêu chuẩn cần thiết để đáp ứng các yêu cầu riêng biệt về đường dẫn dữ liệu LLM và lưu trữ dữ liệu. Hệ thống tệp hiệu suất cực cao của công ty hợp nhất toàn bộ đường dẫn dữ liệu thành một hệ thống tệp toàn cầu song song duy nhất, tích hợp cơ sở hạ tầng và dữ liệu hiện có với các bộ dữ liệu và tài nguyên mới khi chúng được thêm vào.

Kiến trúc Hammerspace tạo ra một môi trường dữ liệu toàn cầu thống nhất, hiệu suất cao, có thể chạy đồng thời và liên tục tất cả các giai đoạn của khối lượng công việc suy luận và đào tạo LLM. Hammerspace hợp lý hóa khối lượng công việc AI bằng cách tận dụng dữ liệu đào tạo ở bất cứ nơi nào nó được lưu trữ, giảm thiểu nhu cầu sao chép và di chuyển tệp sang kho lưu trữ thống nhất mới. Cách tiếp cận này không chỉ giảm chi phí mà còn giảm nguy cơ sai sót và thiếu chính xác trong LLM. Ở cấp độ ứng dụng, dữ liệu được truy cập thông qua giao diện tệp NFS tiêu chuẩn, cho phép ứng dụng truy cập trực tiếp vào các tệp định dạng tiêu chuẩn mà chúng thường được thiết kế.