Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供
NVIDIAがMoE高速化手法発表
Generatived
26/9/24 7:00
NVIDIA（米国カリフォルニア州）は、大規模言語モデルやバイオ基盤モデルに向けたMoE（Mixture-of-Experts）アーキテクチャの学習効率化手法を公開した。自社ライブラリ『Transformer Engine』を用い、分散処理時の計算負荷やメモリ消費を抑える技術群を提示したとされる。
複数のエキスパート演算を一本化する「GroupedLinear」や低精度量子化の「MXFP8」を適用し、最新ハードウェア『Blackwell』基盤での処理速度向上を図る仕組みだ。従来のオープンソース実装で生じていたカーネル起動オーバーヘッドを大幅に削減したと伝えられている。
実証実験では『B200』搭載環境において既存モデル比で最大2.21倍のスループットを記録した模様だ。同社はレシピの提供を通じて大規模モデルの学習コスト低減を後押しし、ゲノム解析や創薬研究における技術開発を強力に支援していく構想と報じられている。
最新のニュース
WISDOMが音声EQ計測提供
26/9/30 7:00
WISDOM（東京都港区）は、PSTと共同で感情知能（EQ）のトレーニングと音声解析技術を組み合わせた「EQトレーニング×音声EQ計測」サービスの提供を開始した。
AWLLが経営OSの運用開始
26/9/30 7:00
AWLL（東京都千代田区）は、経営数値と日々の業務プロセスおよび意思決定を統合して管理する「経営OS」を開発し、自社の営業および採用部門にて運用を開始した。
Copyright © 2024 Generatived - All right Reserved.
ニュース
フォローをお願いします
言語
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
フォローをお願いします
言語
最新のニュース
WISDOMが音声EQ計測提供
26/9/30 7:00
WISDOM（東京都港区）は、PSTと共同で感情知能（EQ）のトレーニングと音声解析技術を組み合わせた「EQトレーニング×音声EQ計測」サービスの提供を開始した。
AWLLが経営OSの運用開始
26/9/30 7:00
AWLL（東京都千代田区）は、経営数値と日々の業務プロセスおよび意思決定を統合して管理する「経営OS」を開発し、自社の営業および採用部門にて運用を開始した。