MLCommonsは、デスクトップやラップトップを含むクライアントシステムの機械学習ベンチマークの作成を目的とした新しいMLPerfクライアントワーキング グループを開始した。この動きは、日常のコンピューティングへのAIの統合が進んでいることに対応したもので、これらのシステムでのAIアクセラレーションのパフォーマンスの測定に重点が置かれている。このベンチマークは、クライアントコンピューティングの多様なエコシステムを反映して、さまざまなオペレーティング システムに対応する。

この組織は、現実世界のシナリオとユーザーエクスペリエンスを反映するベンチマークの開発に重点を置いている。最初のベンチマークは、大規模な言語モデル、特にLlama 2 LLMのパフォーマンスの評価に重点を置く。Llama 2ベースのワークロードを既存のMLCommonsベンチマークスイートに組み込むことで得られた経験は、これらの新しいクライアント システムベンチマークの開発に役立つ。

MLCommonsは、AMD、Arm、ASUSTeK、Dell Technologies、Intel、Lenovo、Microsoft、NVIDIA、Qualcomm Technologiesなどの代表者を含む、MLPerfクライアントワーキング グループの主要な業界関係者からの支援を集めている。このグループは、IntelのRamesh Jaladi氏、MicrosoftのYannis minadakis氏、NVIDIAのJani Joki氏が共同議長を務め、QualcommのVinesh Sukumar氏がベンチマーク開発タスクフォースを率いることになる。

この組織は、MLPerfクライアントワーキング グループの取り組みに貢献するよう、全ての関係者を招待している。詳細について、またはこの取り組みに参加するには、作業グループのページにアクセスするか、提供されたeメールアドレスを介して共同議長に連絡できる。