Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Quadricは、Chimera汎用ニューラルプロセッシング ユニット（GPNPU）知的財産（IP）コアでのLlama 2大規模言語モデル（LLM）の即時サポートを発表した。他のIPおよび半導体アプリケーションプロセッサーのサプライヤーとは異なり、Quadricは、ハードウェアを変更することなく、シンプルなソフトウェアポートを通じてこのサポートを追加することに成功した。これは、他のサプライヤーが2024年以降にサポートを提供するためにハードウェアの変更を計画している一方で、既存の設計でこのモデルを即座に実行できることを意味する。今年7月18日にMetaが生成AI向けに導入したLlama2 LLMは、以前はクラウドデータセンターでのみ実行可能であると考えられていた。しかし、MetaとQualcommが、2024年に予想される将来のQualcomm SnapdragonチップにLlama2を移植する提携を発表したことにより、チップおよびIPプロバイダーの間で市場の注目とオンデバイスLLM実装への投資を獲得しようとする動きが活発になった。Quadricのチームは、Llama2のINT8量子化バージョンをChimeraプラットフォームに移植し、合計4週間のエンジニア週のうちわずか13週間でパフォーマンスを調整することに成功した。これは、2つの新しいML演算子層と既存の演算子カーネルの2つのバリアントをC++でコーディングしてモデルを実行することで実現された。さらに2週間のエンジニア週間を費やして、コーナーケースのパフォーマンスと精度の微調整を行い、Chimera QBシリーズプロセッサーの3つのサイズ全てで確実に動作するようにした。一方、大規模なチームを抱える他の機械学習推論ソリューションプロバイダーは、6力月の移植目標を達成するのに依然として苦労している。Llama2 15Mを実行するQuadricのChimera QB4 4 TOPs GPNPUのパフォーマンスは素晴らしく、わずか2.5 mm2の占有面積でありながら、5nmテクノロジーで225トークン/秒/ワットの効率を実現する。比較のために、M1 Proラップトップの最高パフォーマンスのシングルCPUは、同じInt8バージョンのLlama2を実行した場合、わずか11トークン/秒/Wしか実現しない。これは、Quadricが最先端のCPUと比較して、ワット当たりのML推論において20倍の向上を実現することを意味する。