Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供
MiniMax M2.7 NVIDIAで公開開始新版β
Generatived
26/4/15 0:00
MiniMax M2.7の公開により、既存のM2.5を拡張したエージェント向けMoEモデルが提供され、NVIDIAおよびオープンソース推論環境で利用可能になったとされる。大規模MoE設計や長文コンテキスト200K対応などの特徴も含むと説明される
vLLMやSGLangへの最適化としてQK RMSNormやFP8 MoEカーネルが統合され、Blackwell Ultra GPU環境でスループット最大2.7倍改善が報告されたとされるMoEルーティング最適化によりレイテンシ削減も確認とのこと
vLLM・SGLangのデプロイ手順ではtensor parallelやMoE対応フラグが提示され、エンタープライズ環境での高速推論実行が容易になる構成とされる。またNVIDIAエンドポイントやNIMマイクロサービスでの展開も想定とされる。
NVIDIA NeMoフレームワークやHugging Face上のチェックポイントを活用し、MiniMax M2.7のファインチューニングやRL学習が可能と案内されたとされるオープンウェイト提供によりエージェント用途拡張も期待とされるとされる。
最新のニュース
NVIDIA、LLM向けGPU最適化設計指針公開
26/7/14 0:00
NVIDIA（米国カリフォルニア州）は、大規模言語モデル（LLM）の性能を最大限引き出すためのGPU最適化設計ガイドを公開したと発表した。
Microsoft、Copilotに営業・サービスAI強化
26/7/14 0:00
Microsoft（米国ワシントン州）は、Microsoft 365 CopilotとDynamics 365向けに営業・カスタマーサービス業務を支援する新たなエージェント機能を提供開始したと発表した。
NVIDIA、JAX向けHBM削減技術を紹介
26/7/14 0:00
NVIDIA（米国カリフォルニア州）は、JAXを用いた大規模言語モデル（LLM）の学習において、GPU高帯域幅メモリ（HBM）の使用量を抑える「Host Offloading」の活用方法を紹介した。
Copyright © 2024 Generatived - All right Reserved.
ニュース
フォローをお願いします
言語
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
フォローをお願いします
言語
最新のニュース
NVIDIA、LLM向けGPU最適化設計指針公開
26/7/14 0:00
NVIDIA（米国カリフォルニア州）は、大規模言語モデル（LLM）の性能を最大限引き出すためのGPU最適化設計ガイドを公開したと発表した。
Microsoft、Copilotに営業・サービスAI強化
26/7/14 0:00
Microsoft（米国ワシントン州）は、Microsoft 365 CopilotとDynamics 365向けに営業・カスタマーサービス業務を支援する新たなエージェント機能を提供開始したと発表した。
NVIDIA、JAX向けHBM削減技術を紹介
26/7/14 0:00
NVIDIA（米国カリフォルニア州）は、JAXを用いた大規模言語モデル（LLM）の学習において、GPU高帯域幅メモリ（HBM）の使用量を抑える「Host Offloading」の活用方法を紹介した。