Generatived(Beta)|生成AIの最新ニュースとトレンドを提供
.webp)
MemVerge とMicron がCXL メモリで AI を強化
Generatived
24/3/19 22:06
MemVergeは、CXLメモリーのインテリジェントな階層化を統合することで大規模言語モデルのパフォーマンスを強化するためにMicronと協力することを発表した。このパートナーシップは、GPU HBMの容量制限によって引き起こされるボトルネックを軽減することを目的としている。新しいソリューションはGTCイベントで発表され、GPU使用率と処理速度の大幅な向上が実証された。
MemVergeのCEOであるCharles Fan氏は、LLMパフォーマンスをコスト効率よく拡張するには、GPUへのデータフローを維持する必要性を強調した。Micronとの共同デモンストレーションではSupermicroサーバーを利用し、階層型メモリーの利点を紹介した。これにより、GPU効率が大幅に向上し、特定の計算タスクに必要な時間が半分になった。
このコラボレーションにより、AIワークロード管理に顕著な進歩がもたらされ、組織にパフォーマンスと効率を向上させる機会が提供された。CXLメモリーとインテリジェントなソフトウェア階層化を活用することで、企業はAI主導の取り組みを迅速化できる。MicronのRaj Narasimhan氏は、AIアプリケーションのGPUスループットを向上させる上でのCXLメモリーモジュールの価値を強調した。
MemVerge、Micron、Supermicroの共同の取り組み、およびAIワークロードにおけるCXLメモリーの可能性の詳細については、興味のある方はMemVergeのウェブサイトを参照してください。MemVergeは、クラウドとオンプレミスの両方でデータ集約型のワークロードのパフォーマンスとコストを最適化することを目指して、ビッグメモリー コンピューティングソフトウェアの革新を続けている。
最新のニュース
Chathamが取引検証自動化
26/10/5 7:00
Chatham Financial(米国ペンシルベニア州)は、OpenAIのモデル群を活用して金融取引の検証作業や社内ツールの開発プロセスを刷新したと発表した。
OpenAIが蒸留攻撃を防御
26/10/2 7:00
OpenAI(米国サンフランシスコ)は、モデルの思考プロセス(思考ログ)を不正に抽出して自社モデルの学習や再現に悪用する大規模な「敵対的蒸留」キャンペーンを察知し、阻止したと発表した。
Copyright © 2024 Generatived - All right Reserved.
ニュース
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
最新のニュース
Chathamが取引検証自動化
26/10/5 7:00
Chatham Financial(米国ペンシルベニア州)は、OpenAIのモデル群を活用して金融取引の検証作業や社内ツールの開発プロセスを刷新したと発表した。
OpenAIが蒸留攻撃を防御
26/10/2 7:00
OpenAI(米国サンフランシスコ)は、モデルの思考プロセス(思考ログ)を不正に抽出して自社モデルの学習や再現に悪用する大規模な「敵対的蒸留」キャンペーンを察知し、阻止したと発表した。


%20(1).webp)



