MLCommonsは、医療 AIモデル用のオープン ベンチマーク プラットフォームである MedPerfを発表した。MedPerfは、多様な集団に対するAIモデルの検証に取り組んでおり、限られた臨床データからの意図しないバイアスを削減しようとしている。現実世界の医療データに基づいてAIが評価されることになる。

MLCommonsは、多様な医療データに簡単にアクセスできるようにし、現実世界に影響を与える偏りのないモデルを推進することを目指している。MLCommons Medicalの共同会長を務めるAlex Karargyris博士は、有効性を高めて信頼を構築するために、大規模で多様なデータセットのベンチマークを提供するとしている。


MedPerfの連合評価は、患者データにアクセスせずにAIモデルを効率的に評価する。技術プロジェクトリードのMicah Sheller氏は、MLCommonsがMedPerfにとって理想的なプラットフォームである透過的なプライバシー設計を採用していると述べた。

オーケストレーションと自動化により、連合学習の研究が加速される。副会長のSpyridon Bakas博士は、MedPerfが数時間以内に複数のAIモデルを評価したという効率性を強調している。Federated Tumor Segmentation（FeTS）チャレンジの成功により、データを共有せずに32のグローバルサイトにわたる41のモデルのベンチマークが行われ、MedPerfが検証されたという。

MedPerfはSage BionetworksおよびHugging Faceと提携し、デジタル病理学やオミックスなどの生物医学タスクに対応している。そしてfast.aiやAPIでアクセス可能なモデルなどの一般的なMLライブラリーをサポートする。

MedPerfは、オープン性、信頼の構築、個別化された治療、コスト削減、ヘルスケアエクスペリエンスの強化を通じて、医療AIの導入を加速することを目指している。MLCommons Medical Working Groupは、医療AIの評価を進めた共著者に謝意を表している。