Stability AI は、一般公開されている最も先進的で高性能な日本語モデルである日本語 StableLM Alpha のリリースを発表しました。日本語 StableLM Alpha は 70 億ものパラメータを備えており、4 つの異なるセットに対するベンチマーク テストで他のすべての日本語モデルよりも優れたパフォーマンスを発揮します。日本語 StableLM Base Alpha 7B は、Apache License 2.0 に基づいて市販されており、主に Web から取得した膨大な量のデータを使用してテキストを生成するように設計されています。トレーニング データは主に日本語と英語のテキストで構成され、ソース コードに特化した部分はわずかです。 Stability AI Japan は、EleutherAI Polyglot プロジェクトおよび日本のコミュニティと協力して、トレーニング プロセスを強化するためにデータセットも提供しました。最適なパフォーマンスを確保するために、日本語 StableLM Alpha 7B には SwiGLU や xPos などの最先端のテクノロジーが組み込まれています。このモデルは、EleutherAI の GPT-NeoX ソフトウェアの拡張機能を使用してトレーニングされ、複数のエポックにわたって 7,500 億という驚異的なトークンを処理しました。日本語 StableLM Base Alpha 7B に加えて、Stability AI は日本語 StableLM Instruct Alpha 7B も開発しました。このモデルは、さまざまなオープン データセットを使用した教師あり微調整 (SFT) の実装のおかげで、ユーザーの指示に従うように特別に調整されています。日本語 StableLM Instruct Alpha 7B のパフォーマンスは、lm-evaluation-harness ベンチマークを使用して評価され、54.71 という例外的なスコアを示し、他の日本製モデルを大幅に上回りました。Stability AI は、日本独自の文化、言語、美学を反映したモデルを作成することで、日本の生成 AI エコシステムに貢献することに尽力しており、日本の AI 環境をさらに強化するために、さまざまなモダリティにわたるモデルの開発を継続することに興奮しています。日本語 StableLM Base Alpha 7B と日本語 StableLM Instruct Alpha 7B は両方とも、推論と追加トレーニングのためにHugging Face Hub で利用できます。これらのモデルの詳細とアクセスについては、それぞれのHugging Face Hub ページにアクセスしてください。- 日本語 StableLM Base Alpha 7B- 日本語 StableLM Instruct Alpha 7B