世界有数の人工知能研究機関である OpenAI は、創業以来、言語生成の最前線に立っています。 特に、その GPT (Generative Pre-trained Transformer) モデルは、テキスト補完から言語翻訳に至るまで、研究者や企業によって広く採用されています。
しかし、この分野のプレーヤーは OpenAI だけではなく、他のプレーヤーも追いつき始めています。 その 1 つが Stability AI で、最近、独自の言語モデルである StableLM をオープン ソースとしてリリースした会社です。 StableLM は、OpenAI の GPT モデルと同様に、テキストとコードを生成するように設計されています。 しかし、それを際立たせるいくつかの重要な違いがあります。
StableLM のオープンソース言語モデルの力
まず、StableLM は OpenAI のモデルよりも大きなデータセットでトレーニングされます。 OpenAI の GPT-3 は、約 45 GB のテキストで構成される WebText と呼ばれるデータセットでトレーニングされますが、StableLM は、Pile と呼ばれるオープンソース データセットのより大きなバージョンでトレーニングされます。これには、以下を含むさまざまなソースからの情報が含まれます。ウィキペディア、スタック エクスチェンジ、および PubMed。
第二に、StableLM はオープン ソースとして利用できます。つまり、開発者は、必要に応じて使用し、適応させることができます。 これは、開発者が有料で使用できる API としてのみ利用できる OpenAI の GPT モデルとは対照的です。
StableLM が AI ツールのアクセシビリティーを拡張する方法
Stability AI によると、StableLM モデルは現在 30 億から 70 億のパラメーターで利用可能であり、150 億から 650 億のパラメーター モデルが後で利用可能になります。 これらのモデルは、1,750 億のパラメーターを持つ OpenAI の GPT-3 ほど大きくはありませんが、それでも非常に強力で、首尾一貫した意味のあるテキストを生成できます。
StableLM の興味深い使用例の 1 つは、チャットボットの分野です。 Stability AI は、幅広いトピックについて人間と会話できる StableLM に基づいて微調整されたチャット モデルをリリースしました。 このチャットボットは、質問に答えたり、おすすめを提案したり、ジョークを言ったりすることさえできます。
しかし、StableLM のような言語モデルの誤用の可能性についても懸念があります。 この記事が指摘しているように、「微調整によって全ての偏見や有害性を軽減できるわけではありません」。 言い換えると、トレーニング データにバイアスや有害な言語が含まれている場合、言語モデルはこれらのバイアスや有害性を学習して複製します。
この問題に対処するために、研究者は言語モデルをより透明で説明責任のあるものにする方法に取り組んでいます。 1 つのアプローチは、言語モデルがバイアスを学習して複製しないように、トレーニング データを「バイアス解除」する方法を開発することです。 別のアプローチは、言語モデルの公平性と包括性を評価するための指標を開発することです。
StableLM が AI の研究開発に与える影響
全体として、StableLM のリリースは、言語生成の分野では歓迎すべき進展です。 どの分野においても、より多くの選択肢とより多くの競争があることは常によいことであり、言語生成も例外ではありません。 研究者と開発者がこれらのモデルの改良と改善を続けているため、AI が生成したテキストとコードのさらに印象的で有用なアプリケーションが将来見られることが期待できます。
それまでの間、言語生成の潜在的なリスクと落とし穴について警戒し続けることが重要です。 あらゆるテクノロジーと同様に、誤用や意図しない結果が生じる可能性が常にあります。 しかし、これらのテクノロジーに注意深く注意を払ってアプローチすれば、その力をより大きな利益のために利用することができます。
参照：Stability AI Launches the First of its StableLM Suite of Language Models
