Arthurの記事によると、同社は企業がAIテクノロジーを業務にシームレスに統合できるようにする大規模言語モデル （LLM） の監視ツールの開発に専念してきた。そのArthurのツールスイートに生成テキスト モデルのLLM、プロンプト、ハイパーパラメータを比較するために設計されたオープンソース評価ツールであるArthur Benchが新たに追加された。Benchを使用すると、各チームはLLMプロバイダー間の違い、プロンプト戦略と強化戦略、カスタムトレーニング体制を深く理解できるようになる。
Benchを使用すると、企業はLLMをワークフローに組み込む際に、データ駆動型の洞察に基づいて情報に基づいた意思決定を行うことができる。Arthur Benchが企業にどのようなメリットをもたらすかは次の通りだ。
1.モデルの選択と検証：AIの状況は常に進化しており、企業にとって最新の進歩を常に最新の状態に保つことが重要だ。Arthur Benchを使用すると、企業は一貫した指標を使用してさまざまなLLMオプションを比較でき、特定のアプリケーションに最適なモデルを選択できるようになる。
2.予算とプライバシーの最適化：全てのアプリケーションが最先端で高価なLLMを必要とするわけではない。場合によっては、よりコスト効率の高いAIモデルでも同様に満足のいく結果が得られる。例えば、顧客のクエリーに対する単純なテキスト応答を生成するアプリケーションの場合は、より安価なモデルで十分な場合がある。さらに、特定のモデルを活用して社内に導入することで、企業はデータプライバシーをより細かく制御できるようになる。
3.学術的ベンチマークの現実世界のパフォーマンスへの変換：公平性や偏りなどの標準的な学術的ベンチマークに基づいてLLMを評価することは、現実世界のシナリオとなると困難になる可能性がある。Arthur Benchを使用すると、企業はさまざまなモデルのパフォーマンスを定量的にテストして比較できるようになり、一連の標準指標を使用して正確かつ一貫した評価を行うことができる。さらに、企業は、特定のニーズや優先事項に合わせてカスタマイズされたベンチマークを構成できる。
Arthur Benchに加えて、ArthurはGenerative Assessment Project （GAP） を導入できることに興奮している。この研究イニシアチブでは、OpenAI、Anthropic、Metaなどの業界リーダーが提供する言語モデルの長所と短所をランク付けしている。LLMを誰でも利用できるようにするという取り組みの一環として、同社は今後もGAPを通じて動作の違いやベストプラクティスに関する発見を共有していく。Arthurの共同創設者兼CEOであるAdam Wenchelは、LLM間のパフォーマンスの微妙な違いを理解することの重要性を強調している。