著名なオープンAIエンジニアリングコンソーシアムであるMLCommonsは、2つのMLPerfベンチマークスイートからの新しい結果を発表した。1つ目のMLPerf Inference v3.1は、アーキテクチャーに依存せず、代表性があり、再現可能な方法でMLシステムのパフォーマンスを測定するための標準を提供する。2つ目のMLPerf Storage v0.5は、MLPerf Storageベンチマークの結果を初めてリリースしたもので、MLトレーニングワークロードのコンテキストでストレージ システムのパフォーマンスを評価する。MLPerf Inference v3.1スイートには記録的な参加があり、13,500を超えるパフォーマンス結果が得られ、最大40%のパフォーマンス向上が見られた。結果は、初めて提出したConnect Tech、Nutanix、Oracle、TTAを含む26の異なる団体から提出された。このスイートは、高度なAIチャットボットから自動車線維持や音声テキスト変換インターフェイスなどの車両安全機能に至るまで、あらゆるものをML推論で強化することで、システムがさまざまな展開シナリオでモデルを実行できる速度を測定する。MLPerf Inference v3.1では、2つの新しいベンチマークも導入された。1つ目は、GPT-J参照モデルを使用してCNNニュース記事を要約する大規模言語モデル（LLM）だ。このテストでは15人の異なる提出者から結果が得られ、生成AIの急速な導入を反映している。2つ目は、業界の慣行をより適切に表すために変更された、更新されたレコメンダーだ。このテストでは、DLRM-DCNv2参照モデルと、9件の送信を含むより大規模なデータセットを使用した。これらの新しいテストは、業界標準のベンチマークがAI導入の最新トレンドを表していることを確認し、顧客、ベンダー、研究者を導くことでAIを進歩させることを目的としている。