Generatived(Beta)|生成AIの最新ニュースとトレンドを提供
NVIDIA とGoogle DeepMind が Gemma AI モデルを発表
Generatived
24/2/22 5:26
NVIDIAは、NVIDIAのAIプラットフォームに最適化された新しいオープンモデル シリーズであるGemmaを導入するためにGoogleと協力することを発表した。Google DeepMindによって開発されたGemma 2Bおよび7Bモデルは、TensorRT-LLMライブラリーを活用して推論の最適化を強化し、高スループットと最高レベルのパフォーマンスを提供するように設計されている。このコラボレーションにより、開発者はNVIDIA RTX GPUを搭載したデスクトップ上で大規模言語モデル(LLM)のパワーを活用できるようになり、高度なAI機能へのアクセスが民主化される。
Gemmaモデルは、256Kの語彙サイズと最大8Kのコンテキスト長をサポートし、安全性を念頭に置いて設計されている。PIIフィルタリングを組み込んでデータセットから機密識別子を削除し、責任あるAI開発を保証する。さらに、モデルは人間のフィードバックからの強化学習の恩恵を受け、倫理的なAI実践と連携する。6兆を超えるトークンでトレーニングされたこれらのモデルは、開発者が自信を持って高度なAIアプリケーションを作成およびデプロイできるようにする準備が整っている。
TensorRT-LLMは、FP8、XQA、INT4アクティベーション対応の重み量子化など、Gemmaモデルのパフォーマンスを向上させる機能をいくつか導入している。FP8はディープラーニング アプリケーションの高速化を促進し、NVIDIA AIによって開発されたカーネルであるXQAは生成フェーズ中のアテンションメカニズムを最適化する。もう1つのイノベーションであるINT4 AWQにより、メモリー帯域幅が制限されたシナリオで効率的なメモリー使用とパフォーマンスの向上が可能になる。これらの進歩により、Gemmaモデルはバッチサイズが小さくても、より高い精度と速度で動作できるようになる。
NVIDIAのH200 TensorコアGPUは、Gemmaモデルで優れたパフォーマンスを発揮するように設定されており、Gemma 2Bでは1秒当たり79,000トークンを超え、Gemma 7Bでは19,000トークン近くを達成する。この機能は、単一のGPU上でリアルタイムのレーテンシーで数千人の同時ユーザーにサービスを提供することを意味する。開発者は、NVIDIAのAIプレーグラウンドと今後のChat with RTXデモアプリを通じてGemmaを間もなく体験できるようになる。さらに、最適化されたGemmaモデルチェックポイントがNGCで利用可能になり、FP8量子化バージョンにはHugging Face Optimum-NVIDIAライブラリー経由でアクセスできるようになり、高速LLM推論の統合が合理化される。ソース:
最新のニュース
NTTセキュリティとトレンドAI攻撃対策協力
24/11/11 4:30
NTTセキュリティ(東京都千代田区)とトレンドマイクロ(東京都新宿区)は、AI技術の進展に伴うサイバー攻撃への対策として、セキュリティソリューションの開発に関する包括的な協力を発表した。
TENHO無料ウェビナーAI業務効率化
24/11/11 4:30
TENHO(東京都渋谷区)は、2024年11月14日に無料ウェビナー「目指せスプシ職人!スプレッドシートとChatGPTを連携させた業務自動化」を開催する。
サムライトSNS・EC・AIカンファレンス参加
24/11/11 4:30
サムライト(東京都港区)は、SNSやEC、AI、CXをテーマにしたオンラインカンファレンス【com/PASS「試したくなる知識」と「ホンネ」】に登壇する。
Copyright © 2024 Generatived - All right Reserved.
ニュース
AIと法律/制度/経済/社会
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
最新のニュース
NTTセキュリティとトレンドAI攻撃対策協力
24/11/11 4:30
NTTセキュリティ(東京都千代田区)とトレンドマイクロ(東京都新宿区)は、AI技術の進展に伴うサイバー攻撃への対策として、セキュリティソリューションの開発に関する包括的な協力を発表した。
TENHO無料ウェビナーAI業務効率化
24/11/11 4:30
TENHO(東京都渋谷区)は、2024年11月14日に無料ウェビナー「目指せスプシ職人!スプレッドシートとChatGPTを連携させた業務自動化」を開催する。
サムライトSNS・EC・AIカンファレンス参加
24/11/11 4:30
サムライト(東京都港区)は、SNSやEC、AI、CXをテーマにしたオンラインカンファレンス【com/PASS「試したくなる知識」と「ホンネ」】に登壇する。