Expedera, Inc., penyedia kekayaan intelektual semikonduktor Neural Processing Unit (NPU) terkemuka, mengumumkan bahwa mereka meningkatkan NPU Asal untuk mendukung AI generatif pada perangkat edge. Produk terbaru perusahaan ini dirancang untuk mengelola beban kerja AI tradisional dan generatif secara efisien, termasuk model bahasa skala besar (LLM) seperti difusi stabil. Dalam studi benchmark, Origin IP mencocokkan kinerja dan akurasi platform cloud dengan tetap menjaga efisiensi energi yang diperlukan untuk perangkat edge dan portabel.

Integrasi LLM ke dalam Origin NPU mewakili kemajuan signifikan dalam pemrosesan bahasa alami, yang memungkinkan aplikasi mulai dari chatbot hingga rekomendasi yang dipersonalisasi untuk berjalan langsung di perangkat edge. Transisi ini bertujuan untuk mengurangi ketergantungan pada pusat data terpusat dan memberikan solusi yang lebih hemat biaya dan responsif kepada OEM. Kemampuan untuk menjalankan LLM secara lokal di perangkat juga menjanjikan pengurangan latensi serta meningkatkan keandalan dan pengalaman pengguna.

Da Chuang, salah satu pendiri dan CEO Expedera, menekankan komitmen perusahaan untuk menyediakan solusi NPU khusus yang memenuhi kebutuhan pelanggan tertentu, termasuk dukungan LLM. Solusi Origin IP dikenal dengan efisiensi daya dan kinerjanya yang luar biasa, yang dikatakan mengungguli solusi kompetitif dan solusi internal.

Arsitektur NPU berbasis paket yang dipatenkan Expedera dirancang untuk mengatasi keterbatasan akselerator AI berbasis lapisan dan ubin tradisional, seperti masalah berbagi memori dan keamanan. Arsitektur scalable Origin NPU dapat menghasilkan hingga 128 TOPS per inti dengan pemanfaatan rata-rata 80%, jauh melebihi rata-rata industri. Efisiensi ini bertujuan untuk mengurangi jumlah silikon yang kurang dimanfaatkan dalam perangkat. Untuk informasi atau pertanyaan lebih lanjut, silakan kunjungi situs web Expedera.