Technology Innovation Instituteは計算効率を最適化するために設計されたオープンソースのAIモデルシリーズ「Falcon LLMs」の提供を開始したことを発表した。Falcon LLMsには、Falcon-40BとFalcon-7Bが含まれる。
デコーダのみのモデルであるFalcon-40Bは、RefinedWebとキュレーションコーパスの1兆トークンからなるデータセットでトレーニングされた。このモデルは、LLaMA、StableLM、RedPajama、MPTといった他のオープンソースモデルの中で優れており、OpenLLM Leaderboardで検証されたように優れた性能を示している。Falcon-40BはFlashAttentionを搭載しており、効率的な推論タスクのために最適化されたアーキテクチャを実現しているとTTIは強調している。
Falcon-40Bは、事前に訓練されたままのモデルとして提供されますが、特定のユースケースに対しては、さらに微調整をすることをTIIは推奨している。しかし、チャット形式の一般的な命令を含むアプリケーションでは、Falcon-40B-Instructがより適切な代替手段を提供する。重要な点は、Falcon-40BはTII Falcon LLMライセンスの下で利用可能であり、モデルの商用利用を許可しているということだ。商業利用が可能であることは、さまざまな分野の研究者、開発者、企業にとって、プロジェクトで使える貴重なリソースになるということである。
Falcon LLMsのラインナップに加わったもう一つの注目すべきモデルはFalcon-7Bである。この高度な因果関係デコーダーのみのモデルは、70億ものパラメータ数を誇り、RefinedWebから派生した1兆5000億のトークンのデータセットで広範囲に教育され、キュレーションコーパスで強化されている。Falcon-7Bは、MPT-7B、StableLM、RedPajamaなどの類似のオープンソースモデルと比較して、卓越した性能を発揮しているという。TIIは、FlashAttentionとマルチクエリー技術の統合で、推論タスクにおけるFalcon-7Bの効率と有効性がさらに高まった、としている。Falcon-7BもFalcon-40Bと同様、TII Falcon LLM Licenseで公開し、モデルの商業利用を可能にするという。
