Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

OpenAI（サンフランシスコ）は、メンタルヘルスに関するAIモデルの応答品質を測定するオープン評価指標『MentalHealthBench』を発表した。世界22カ国の専門家80名以上と共同開発され、日常のストレスから緊急時までの会話シナリオに対応する評価基準が整備されたとされる。

本指標では背景文脈の把握やユーザーの主体性尊重、適切な助言の提供といった要素が可視化され、専門家による厳格なルーブリックに基づいてモデル性能が数値化される仕組みだ。非緊急会話から深刻な相談まで幅広い対話データが含まれ、安全性と実用性の双方が検証可能になっているという。

一般ユーザーを対象とした調査も平行して実施され、臨床的助言と利用者が求めるトーンや具体的提案とのバランスに関しても分析が進められた模様だ。開発元は評価手法を広く公開することで技術向上を支援し、安全な対話型AIの普及を後押ししていく構想と報じられている。