Kinara™, Inc. telah memperkenalkan prosesor Ara-2 Edge AI, sebuah chip baru yang dirancang untuk memberi daya pada server dan laptop edge. Prosesor ini disetel untuk menangani aplikasi seperti analisis video dan berbagai model AI secara efisien, termasuk yang berbasis arsitektur Transformer. Ara-2 menawarkan lompatan kinerja yang signifikan dibandingkan pendahulunya, menawarkan kekuatan 5 hingga 8 kali lebih besar dibandingkan Ara-1. Kemajuan ini disebabkan oleh kemampuan untuk menyeimbangkan memori on-chip dan bandwidth off-chip, sehingga model besar dapat dijalankan dengan latensi minimal.

Produk terbaru perusahaan ini menjawab meningkatnya permintaan akan model bahasa skala besar (LLM) dan AI generatif. Hal ini biasanya bergantung pada GPU di pusat data, sehingga menyebabkan latensi dan biaya yang tinggi, serta masalah privasi. Ara-2 dari Kinara bertujuan untuk mengatasi masalah ini dengan memungkinkan model AI yang kompleks dengan miliaran parameter dijalankan langsung di perangkat edge. Mesin komputasi prosesor dan perangkat pengembangan perangkat lunak (SDK) yang menyertainya dirancang untuk mendukung dukungan langsung FP32, serta kuantisasi yang tepat dan waktu proses host yang disesuaikan secara dinamis, membuatnya lebih mudah untuk menjalankan GPU yang mahal.

Dalam langkah strategisnya pada Oktober lalu, Kinara bergabung dengan AI Platform Alliance yang dipimpin oleh Ampere dengan tujuan bersama untuk menyederhanakan arsitektur sistem dan mendorong ekosistem AI yang lebih kolaboratif dan terbuka. Kemitraan ini diharapkan dapat memberikan kinerja superior dan peningkatan daya serta efisiensi biaya dibandingkan dengan pengaturan GPU tradisional. Kepemimpinan Ampere telah menyatakan antusiasmenya terhadap potensi kolaborasi untuk mentransformasi penyampaian solusi AI.

Keamanan juga merupakan fitur utama Ara-2, yang mencakup boot aman, akses memori terenkripsi, dan antarmuka host yang aman untuk memenuhi persyaratan penerapan AI perusahaan. Kinara juga mendukung prosesor dengan SDK tangguh yang mencakup kompiler model, penjadwal unit komputasi, dan penyeimbang beban untuk sistem dengan banyak chip. SDK juga menawarkan opsi kuantisasi yang fleksibel, termasuk fungsionalitas kuantisasi terintegrasi Kinara dan kompatibilitas dengan model pra-kuantisasi PyTorch dan TFLite, memastikan perangkat yang komprehensif untuk pengembang.