Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

MLCommons は、大規模言語モデル (LLM) の先駆的な安全性テストである AILuminate を発表し、広く使用されている LLM の包括的な一連の安全性グレードを提供しています。AI 研究者や業界の専門家と提携して作成されたこの AI 安全性ベンチマークは、LLM リスクの科学的かつ独立した分析を提供し、企業の意思決定プロセスに情報を提供することを目的としています。組織の創設者である Peter Mattson 氏は、責任ある AI 開発を導くために、他の複雑なテクノロジーで使用される安全性評価と同様に、AI の標準化されたテストの必要性を強調しました。

AILuminate ベンチマークは、12 の危険カテゴリにわたる 24,000 を超えるテストプロンプトを使用して LLM を厳密に評価します。モデルにはプロンプトに関する事前の知識や評価モデルへのアクセスは与えられません。このアプローチにより、標準的な学術研究でしばしば欠けている方法論的厳密さのレベルが保証され、業界と学術界の両方が信頼できる実証分析が提供されます。MLCommons のエグゼクティブディレクターである Rebecca Weiss 氏は、AI のリスクと信頼性のグローバルベースラインを確立し、AI の透明性と信頼性を高めることを目指す組織の取り組みを強調しました。

一流大学の AI 研究者や大手テクノロジー企業の技術専門家を含む MLCommons AI リスクと信頼性ワーキング グループによって開発された AILuminate は、AI の安全性を標準化するための共同作業を表しています。AI テクノロジーの進化に合わせてベンチマークを更新する予定のワーキング グループは、共通の安全性ベンチマークの重要性を認識している業界および学術界のリーダーからサポートを受けています。コロンビア大学の教授であるカミーユ フランソワ氏は、AILuminate は透明性のあるコラボレーションと AI の安全性の課題に関する継続的な研究を促進すると述べています。

AILuminate の開発プロセスは、グローバルなマルチステークホルダーアプローチを採用しており、その徹底性と包括性が高く評価されています。スタンフォード大学の Percy Liang 氏と Credo AI の Navrina Singh 氏は、信頼できる安全性評価を構築し、AI の安全性基準の重要な基盤を確立する上でのベンチマークの役割を認めています。MLCommons は、英語での最初のリリースで、AI の安全性に対する協調的なグローバルアプローチへの取り組みを反映して、2025 年初頭までに AILuminate の利用範囲をフランス語、中国語、ヒンディー語に拡大する予定です。MLCommons と AILuminateBenchmarkの詳細については、組織の Web サイトを参照してください。