top of page
Generatived(Beta)|生成AIの最新ニュースとトレンドを提供

Google、DiffusionGemma公開
Generatived
26/6/19 0:00
Google(米国カリフォルニア州マウンテンビュー)は、テキスト生成向けの実験的オープンモデル「DiffusionGemma」を公開した。Apache 2.0ライセンスで提供され、従来の逐次生成方式とは異なるテキスト拡散技術を採用したという。
同モデルは26B規模のMixture of Experts(MoE)構成を採用し、推論時には3.8Bパラメータのみを活性化する設計となっている。最大256トークンを並列生成することで、GPU環境では従来モデル比で最大4倍の生成速度を実現するとしている。
また、双方向アテンション機構により、インライン編集やコード補完、数理構造の生成など非線形タスクへの適性を高めた。出力全体を見ながら逐次修正を行う仕組みによって、生成中の自己修正能力も備えるという。
一方で、品質面ではGemma 4シリーズを上回るものではなく、研究用途や高速な対話型ワークフロー向けに位置付けられている。Hugging Faceでモデルを公開し、MLXやvLLM、Transformersなど主要ツールへの対応も進めている。

