Neural Processing Unit （NPU）半導体知的財産の著名なプロバイダーであるExpedera, Incは、エッジデバイス上で生成AIをサポートするために、Origin NPUを強化すると発表した。同社の最新の製品は、安定した拡散などの大規模言語モデル（LLM）を含む、従来の生成AIワークロードの両方を効率的に管理するように調整されている。ベンチマーク調査では、Origin IPは、エッジデバイスやポータブル デバイスに必要なエネルギー効率を維持しながら、クラウドプラットフォームのパフォーマンスと精度に匹敵した。
LLMのOrigin NPUへの統合は、自然言語処理の大幅な進歩を示し、チャットボットからパーソナライズされたレコメンデーションまで、さまざまなアプリケーションがエッジデバイス上で直接動作できるようになる。この移行は、集中型データセンターへの依存を軽減し、OEMに、よりコスト効率が高く応答性の高いソリューションを提供することを目的としている。LLMをデバイス上でローカルに実行できる機能により、レーテンシーが短縮され、信頼性とユーザーエクスペリエンスが向上することも期待できる。
Expederaの共同創設者兼CEOであるDa Chuang氏は、LLMサポートを含む、特定の顧客ニーズに応えるカスタマイズされたNPUソリューションを提供するという同社の取り組みを強調した。Origin IPソリューションは、その卓越した電力効率とパフォーマンスで知られており、その性能は競合ソリューションや社内ソリューションを上回っているといわれている。
Expederaの特許取得済みのパケットベースのNPUアーキテクチャーは、メモリー共有やセキュリティーの問題など、従来のレイヤーベースおよびタイル型AIアクセラレーターの制限を克服するように設計されている。Origin NPUのスケーラブルなアーキテクチャーは、コア当たり最大128 TOPSを実現でき、平均使用率は80%で、業界平均を大幅に上回る。この効率化は、デバイス内で十分に活用されていないシリコンの発生を減らすことを目的としている。さらに詳しい情報や問い合わせについては、Expederaのウェブサイトにアクセスしてください。
出典：プレスリリース
