アレンAI研究所は、事前トレーニングデータとトレーニング コードを備えた包括的なオープンソースの大規模言語モデルであるOLMo 7Bを発表した。このリリースは、この規模のオープンモデルでは以前は利用できなかったリソースへの前例のないアクセスを提供するため、AI開発における透明性とコラボレーションを強化するための重要な一歩となる。OLMo 7Bを共有することで、同研究所は研究者や開発者がAIモデルについてより深く理解できるようにすることを目指している。
OLMoのフレームワークは、大規模な言語モデルのトレーニングと微調整においてAIコミュニティーをサポートするように調整されている。モデル自体を含むリソースには、Hugging FaceやGitHubなどのプラットフォームからダウンロードするために簡単にアクセスできる。この取り組みは、ハーバード大学のケンプナー研究所やAMDやDatabricksなどのテクノロジー企業を含む、さまざまな機関やパートナーとのコラボレーションを通じて実現した。このフレームワークのリリースにより、言語モデル研究の分野における集団的な進歩が強化される予定だ。
OLMoフレームワーク内で提供される一連のツールは広範だ。これには、Dolmaセットとして知られる膨大な事前トレーニングデータセットが含まれており、3兆トークンのオープンコーパスに基づいて構築されている。さらに、このフレームワークは、推論コードと詳細なトレーニング ログとともに、さまざまなモデルバリアントの完全なモデルの重みを提供する。評価スイートもパッケージの一部であり、徹底的なモデル評価のための広範なチェックポイントを備えている。
Allen Institute for AIによるOLMoのリリースは、言語モデル開発に対するより協力的かつ透明性の高いアプローチを促進するための戦略的な動きです。同研究所は、近い将来、さまざまなモデルサイズと機能を備えたOLMoファミリを拡張する予定だ。この取り組みは、より正確なAI研究、AI開発における二酸化炭素排出量の削減、科学コミュニティーのための永続的なリソースの創出につながることが期待されている。カーボンニュートラルな運用で有名なフィンランドのLUMIスーパーコンピューターは、OLMoの事前トレーニングにおいて極めて重要な役割を果たし、AIテクノロジーの進歩における持続可能な実践の重要性を強調した。
出典：プレスリリース
