GigaIO telah mengumumkan kemitraan strategis dengan d-Matrix untuk meningkatkan solusi inferensi AI bagi perusahaan. Kemitraan ini menyatukan platform inferensi Corsair milik d-Matrix dan arsitektur SuperNODE milik GigaIO untuk menyediakan solusi yang menyederhanakan penerapan dan secara efisien meningkatkan skala beban kerja inferensi AI. Upaya bersama ini bertujuan untuk memenuhi permintaan yang terus meningkat akan kemampuan AI berkinerja tinggi dan hemat energi yang dapat ditingkatkan skalanya tanpa dibatasi oleh kendala sistem multi-simpul tradisional.

Platform SuperNODE GigaIO kini dapat mendukung banyak akselerator d-Matrix Corsair dalam satu node, menjadikannya platform inferensi AI yang paling dapat diskalakan di industri. Integrasi ini memungkinkan organisasi untuk menjauh dari kompleksitas pendekatan komputasi terdistribusi tradisional dan menerapkan beban kerja inferensi batch dalam skala besar dengan latency yang sangat rendah. Alan Benjamin, CEO GigaIO, menyoroti sifat inovatif dari solusi tersebut dan kemampuannya untuk menyederhanakan penerapan dan beradaptasi dengan beban kerja AI yang berubah sekaligus meningkatkan total biaya kepemilikan dan efisiensi operasional.

Kemitraan ini telah menghasilkan solusi dengan metrik kinerja yang luar biasa, yang menetapkan standar baru untuk inferensi AI perusahaan: 30.000 token per detik dan kecepatan interaktif hingga 10x dibandingkan dengan alternatif berbasis GPU. Selain itu, solusi ini memberikan kinerja 3x dan efisiensi energi 3x dengan biaya yang sebanding, sehingga penerapan AI menjadi lebih berkelanjutan. CEO d-Matrix Sid Sheth mengatakan kolaborasi ini menggabungkan arsitektur komputasi dalam memori d-Matrix yang efisien dengan platform GigaIO yang tangguh untuk menjadikan Generative AI dalam skala besar layak secara komersial.

Jaringan AI berbasis PCIe Gen 5 canggih milik GigaIO merupakan komponen utama dari integrasi ini, yang memfasilitasi komunikasi latency rendah antara akselerator Corsair dan memaksimalkan efisiensi arsitektur d-Matrix. Pendekatan ini menghilangkan hambatan yang biasanya terkait dengan beban kerja inferensi terdistribusi. Keberhasilan kemitraan ini dibuktikan lebih lanjut oleh pencapaian terkini GigaIO dalam tolok ukur inferensi MLPerf, yang menyoroti kepemimpinan perusahaan dalam infrastruktur AI. Benjamin mengakhiri dengan menyatakan apresiasinya atas kebutuhan pasar akan solusi inferensi AI yang lebih efisien dan terukur serta inovasi rekayasa signifikan yang telah dihasilkan oleh kemitraan dengan d-Matrix.