MemVerge mengumumkan kolaborasi dengan Micron untuk meningkatkan kinerja model bahasa besar dengan mengintegrasikan lapisan memori CXL yang cerdas. Kemitraan ini bertujuan untuk mengurangi kemacetan yang disebabkan oleh keterbatasan kapasitas GPU HBM. Solusi baru ini diumumkan pada acara GTC dan menunjukkan peningkatan signifikan dalam pemanfaatan GPU dan kecepatan pemrosesan.

CEO MemVerge Charles Fan menekankan perlunya menjaga aliran data ke GPU untuk menskalakan kinerja LLM secara hemat biaya. Demonstrasi bersama dengan Micron menggunakan server Supermicro untuk menunjukkan manfaat memori hierarkis. Hal ini meningkatkan efisiensi GPU secara signifikan, sehingga mengurangi separuh waktu yang diperlukan untuk tugas komputasi tertentu.

Kolaborasi ini telah menghasilkan kemajuan signifikan dalam manajemen beban kerja AI, memberikan peluang bagi organisasi untuk meningkatkan kinerja dan efisiensi. Dengan memanfaatkan memori CXL dan pelapisan perangkat lunak yang cerdas, perusahaan dapat mempercepat inisiatif berbasis AI. Raj Narasimhan dari Micron menyoroti nilai modul memori CXL dalam meningkatkan throughput GPU untuk aplikasi AI.

Untuk mempelajari lebih lanjut tentang upaya bersama MemVerge, Micron, dan Supermicro serta potensi memori CXL untuk beban kerja AI, pihak yang berkepentingan dapat mengunjungi situs web MemVerge. MemVerge terus berinovasi pada perangkat lunak komputasi memori besar dengan tujuan mengoptimalkan kinerja dan biaya untuk beban kerja intensif data baik di cloud maupun lokal.