Stability AIの7月21日付けのブログによると、同社と傘下のCarperAIラボは、FreeWilly1とFreeWilly2というオープンアクセス可能なLLMを公開した。さまざまなベンチマークにわたって優れた推論能力を示し、一部ではChatGPTを凌駕する性能を披露したという。
FreeWilly1は、オリジナルのLLaMA 65B基礎モデルに基づいており、標準Alpaca形式のSupervised Fine-Tune（SFT)を使用して、新しい synthetically-generatedなデータセットで慎重に微調整されている。同様に、FreeWilly2はLLaMA 2 70B基盤モデルを活用しており、特定のタスクではGPT-3.5と比較して優れたパフォーマンスを発揮するという。
どちらのFreeWillyモデルも、オープンな研究を促進するために非営利ライセンスに基づいてリリースされた実験版だ。同社はモデルが「礼儀正しく」安全であることを保証するために内部レッドチームを編成したが、コミュニティーからのレッドチームへのフィードバックと支援を歓迎する、としている。
FreeWillyモデルのデータ生成プロセスは、Microsoftの論文「 Orca : GPT-4の複雑な説明トレースからの進歩的学習」の方法論に触発された。Stability AIのアプローチは似ているが、使用されるデータソースが異なる。 データセットバリアントには60万データポイントが含まれており、これは元のOrca論文で使用されているサイズの約10%だ。
COT Submix Original、NIV2 Submix Original、FLAN 2021 Submix Original、T0 Submix Originalなどの特定のデータセットからの高品質な命令を使用して言語モデルをプロンプトすることによって作成された。
オリジナルのOrca論文と比較してサンプルサイズが小さいにもかかわらず、FreeWillyモデルは、さまざまなベンチマークにわたって優れたパフォーマンスを示すという。例えば、複雑な推論、言語の微妙な点の理解、法律や数学的な問題解決などの専門分野における複雑な質問に答えることに優れているそうだ。
Stability AIは、オープンな研究とコラボレーションを促進することに重点を置いている。FreeWilly1とFreeWilly2を研究コミュニティーが利用できるようにすることで、AIを民主化し、自然言語処理の限界を押し上げる集団的な取り組みを奨励することを目指している。
