top of page

Generatived(Beta)|生成AIの最新ニュースとトレンドを提供

logo.png

QuadricがChimera GPNPUでLlama 2サポート

Generatived

23/9/15 7:04

Quadricは、Chimera汎用ニューラルプロセッシング ユニット(GPNPU)知的財産(IP)コアでのLlama 2大規模言語モデル(LLM)の即時サポートを発表した。他のIPおよび半導体アプリケーションプロセッサーのサプライヤーとは異なり、Quadricは、ハードウェアを変更することなく、シンプルなソフトウェアポートを通じてこのサポートを追加することに成功した。これは、他のサプライヤーが2024年以降にサポートを提供するためにハードウェアの変更を計画している一方で、既存の設計でこのモデルを即座に実行できることを意味する。今年7月18日にMetaが生成AI向けに導入したLlama2 LLMは、以前はクラウドデータセンターでのみ実行可能であると考えられていた。しかし、MetaとQualcommが、2024年に予想される将来のQualcomm SnapdragonチップにLlama2を移植する提携を発表したことにより、チップおよびIPプロバイダーの間で市場の注目とオンデバイスLLM実装への投資を獲得しようとする動きが活発になった。Quadricのチームは、Llama2のINT8量子化バージョンをChimeraプラットフォームに移植し、合計4週間のエンジニア週のうちわずか13週間でパフォーマンスを調整することに成功した。これは、2つの新しいML演算子層と既存の演算子カーネルの2つのバリアントをC++でコーディングしてモデルを実行することで実現された。さらに2週間のエンジニア週間を費やして、コーナーケースのパフォーマンスと精度の微調整を行い、Chimera QBシリーズプロセッサーの3つのサイズ全てで確実に動作するようにした。一方、大規模なチームを抱える他の機械学習推論ソリューションプロバイダーは、6力月の移植目標を達成するのに依然として苦労している。Llama2 15Mを実行するQuadricのChimera QB4 4 TOPs GPNPUのパフォーマンスは素晴らしく、わずか2.5 mm2の占有面積でありながら、5nmテクノロジーで225トークン/秒/ワットの効率を実現する。比較のために、M1 Proラップトップの最高パフォーマンスのシングルCPUは、同じInt8バージョンのLlama2を実行した場合、わずか11トークン/秒/Wしか実現しない。これは、Quadricが最先端のCPUと比較して、ワット当たりのML推論において20倍の向上を実現することを意味する。

この記事を共有:

最新のニュース
DryRun SecurityがAIコーディングエージェントの欠陥を暴露

DryRun SecurityがAIコーディングエージェントの欠陥を暴露

26/3/13 0:00

DryRun Securityは、AIコーディングエージェントがソフトウェア開発を加速させる一方で、セキュリティ上の脆弱性をもたらす傾向があることを示す新たな調査結果を発表しました。

Opinosis AnalyticsがAI統合準備ツールをリリース

Opinosis AnalyticsがAI統合準備ツールをリリース

26/3/13 0:00

ユタ州ウェストジョーダン – 企業がAI活用において直面する課題に対応するため、Opinosis Analyticsは新たな診断ツールを発表しました。

Entity、AIに最適化された4つの新しいMTIAチップを発表

Entity、AIに最適化された4つの新しいMTIAチップを発表

26/3/13 0:00

同社は、今後2年以内に4世代のカスタムビルドシリコンチップを開発・導入するという野心的な計画を発表しました。

AIヘルスイニシアチブがオーストラリアの遠隔医療を強化

AIヘルスイニシアチブがオーストラリアの遠隔医療を強化

26/3/13 0:00

オーストラリアの医療環境は、都市部に比べて心臓病による死亡リスクが60%高い遠隔地住民の健康状態改善を目指す新たな取り組みの恩恵を受けることになります。

Copyright © 2024 Generatived - All right Reserved.

この記事を共有:

この記事を共有:

Generatived AI Logo

Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。

  • Facebook
  • X

フォローをお願いします

言語

最新のニュース
DryRun SecurityがAIコーディングエージェントの欠陥を暴露

DryRun SecurityがAIコーディングエージェントの欠陥を暴露

26/3/13 0:00

DryRun Securityは、AIコーディングエージェントがソフトウェア開発を加速させる一方で、セキュリティ上の脆弱性をもたらす傾向があることを示す新たな調査結果を発表しました。

Opinosis AnalyticsがAI統合準備ツールをリリース

Opinosis AnalyticsがAI統合準備ツールをリリース

26/3/13 0:00

ユタ州ウェストジョーダン – 企業がAI活用において直面する課題に対応するため、Opinosis Analyticsは新たな診断ツールを発表しました。

Entity、AIに最適化された4つの新しいMTIAチップを発表

Entity、AIに最適化された4つの新しいMTIAチップを発表

26/3/13 0:00

同社は、今後2年以内に4世代のカスタムビルドシリコンチップを開発・導入するという野心的な計画を発表しました。

AIヘルスイニシアチブがオーストラリアの遠隔医療を強化

AIヘルスイニシアチブがオーストラリアの遠隔医療を強化

26/3/13 0:00

オーストラリアの医療環境は、都市部に比べて心臓病による死亡リスクが60%高い遠隔地住民の健康状態改善を目指す新たな取り組みの恩恵を受けることになります。

bottom of page