Hammerspace, orkestrator terkemuka dari Next Data Cycle, mengumumkan arsitektur data unik untuk melatih inferensi model bahasa skala besar (LLM) dalam lingkungan hyperscale. Arsitektur inovatif ini adalah satu-satunya yang memungkinkan para insinyur AI untuk menciptakan arsitektur data terpadu yang menggabungkan kinerja sistem file paralel kelas superkomputer dengan kemudahan akses aplikasi dan penelitian ke NFS standar.

Keberhasilan strategi AI bergantung pada kemampuannya untuk menskalakan GPU dalam jumlah besar dan fleksibilitas untuk mengakses silo data lokal dan terdistribusi. Organisasi juga harus dapat menggunakan data terlepas dari perangkat keras atau infrastruktur cloud yang digunakan saat ini dan memiliki kontrol keamanan yang diperlukan untuk mempertahankan kebijakan tata kelola data. Persyaratan ini sangat penting dalam pengembangan LLM. LLM sering kali memerlukan penggunaan ratusan miliar parameter, puluhan ribu GPU, dan ratusan petabyte data tidak terstruktur dari berbagai jenis.

Hammerspace mengumumkan arsitektur terbukti yang secara unik memberikan kinerja, kemudahan penerapan, dan dukungan perangkat lunak dan perangkat keras berbasis standar yang diperlukan untuk memenuhi persyaratan unik saluran data dan penyimpanan data LLM. Sistem file berkinerja sangat tinggi milik perusahaan ini menggabungkan seluruh saluran data ke dalam satu sistem file global paralel, mengintegrasikan infrastruktur dan data yang ada dengan kumpulan data dan sumber daya baru saat ditambahkan.

Arsitektur Hammerspace menciptakan lingkungan data global terpadu dan berkinerja tinggi yang dapat menjalankan semua fase beban kerja pelatihan dan inferensi LLM secara bersamaan dan berkelanjutan. Hammerspace menyederhanakan beban kerja AI dengan memanfaatkan data pelatihan di mana pun data tersebut disimpan, meminimalkan kebutuhan untuk menyalin dan memindahkan file ke repositori baru yang terpadu. Pendekatan ini tidak hanya mengurangi overhead tetapi juga mengurangi risiko kesalahan dan ketidakakuratan dalam LLM. Pada tingkat aplikasi, data diakses melalui antarmuka file NFS standar, memberikan aplikasi akses langsung ke file format standar yang biasanya dirancang.