H2O.aiは、18億のパラメータを誇る新しいオープンソースの自然言語モデル、H2O-Danube-1.8Bを発表した。このモデルは、他のモデルと比較して小規模なデータセットでトレーニングされたため、さまざまな言語タスクで優れたパフォーマンスを示しました。CEO兼共同創設者のスリ・アンバティ氏は、小型デバイスとの互換性と商用利用ライセンスを挙げて、モバイル・オフライン・アプリケーションを強化するこのモデルの可能性を強調した。
arXivに関する同社の技術レポートでは、H2O-Danube-1.8Bが、以前のモデルから洗練された技術を採用し、さまざまなウェブソースからの1兆個のトークンでトレーニングされたことが明らかになった。データが限られているにもかかわらず、このモデルは、推論、理解、要約、翻訳などのタスクにおいて、同様のサイズのモデルのパフォーマンスに匹敵するか、それを上回ることが示されている。
H2O.aiは、基本モデルに加えて、会話型AI向けに調整されたH2O-Danube-1.8B-Chatも導入した。このバリアントは、ダイアログデータセットと人間の好みに基づいた強化学習による微調整を受け、そのカテゴリーでトップクラスのパフォーマンスを示しました。現在、どちらのバージョンもHugging Faceからアクセスでき、アプリケーション統合と潜在的なモデルスケーリングのためのさらなるツールをリリースする予定だ。
Ambati氏は、責任を持ってAIを進化させるH2O.aiの取り組みを再確認し、モデルの高性能と広範なアクセシビリティーのためのオープンライセンスの組み合わせを強調した。同社は生成AIの民主化で知られ、革新的なAIソリューションと世界的なコミュニティーへの関与により業界に影響を与え続けている。
出典：プレスリリース
