Ambarella, Inc. mengumumkan kemajuan terbarunya dalam teknologi edge AI di CES, memamerkan kemampuan seri SoC N1 barunya. Perusahaan berencana untuk mengaktifkan AI generatif, yang sebelumnya terbatas pada lingkungan server karena tuntutan komputasi yang tinggi, pada perangkat edge. Seri SoC N1 Ambarella dirancang untuk menangani tugas-tugas kompleks seperti analisis keamanan video dan robotika sekaligus mengurangi konsumsi daya secara signifikan dibandingkan dengan solusi GPU terkemuka.

Perusahaan semikonduktor ini bersiap untuk menawarkan pemrosesan AI generatif pada berbagai SoC, termasuk seri CV72 dan N1, yang menargetkan aplikasi kelas menengah hingga atas. SoC Ambarella menonjol karena efisiensinya, menawarkan penghematan daya hingga 3x per token yang dihasilkan dibandingkan dengan GPU dan akselerator AI lainnya. Platform Pengembang Cooper™ perusahaan mendukung SoC ini, dan Ambarella telah menyederhanakan proses integrasi bagi pelanggan dengan melakukan pra-optimasi model bahasa populer berskala besar yang tersedia melalui Cooper Model Garden.

Arsitektur SoC Ambarella dirancang untuk aplikasi yang memerlukan pemrosesan video dan AI secara bersamaan. Teknologi perusahaan siap untuk meningkatkan visi komputer dengan memperkenalkan konteks dan pemahaman pemandangan ke perangkat seperti kamera keamanan dan robot industri. Pemrosesan AI generatif pada perangkat tidak hanya mempercepat kinerja, namun juga meningkatkan privasi dan mengurangi biaya kepemilikan. Pendekatan Ambarella memungkinkan LLM khusus aplikasi untuk dikustomisasi langsung di edge, dibandingkan dengan model satu ukuran untuk semua yang berbasis server tradisional.

Seri N1 memanfaatkan arsitektur CV3-HD Ambarella, yang awalnya dikembangkan untuk kendaraan otonom, dan menggunakan kembali teknologi berkinerja tinggi dan berdaya rendah ini untuk menjalankan LLM multimoda. Misalnya, SoC N1 dapat menjalankan model Llama2-13B secara efisien, menghasilkan output yang unggul dengan tetap menjaga konsumsi daya yang rendah. Inovasi ini memfasilitasi integrasi AI generatif ke dalam berbagai aplikasi, mulai dari kotak AI stasioner hingga robot bergerak. Ambarella mendemonstrasikan kemampuan LLM multimodal dari SoC N1-nya di CES, menyoroti potensi teknologi tersebut di pasar edge AI.