Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NITI Technology（東京都文京区本郷）は、ECサイトの商品推薦チャットの品質を評価するベンチマーク「SOUK」をGitHubで公開した。AI対話型EC市場の拡大に伴い、品質の問題が顕在化している中、SOUKはこれらの課題に対応するために開発された。

SOUKは、複数のAIジャッジモデルを用いてECチャットの品質を自動でスコアリングする。10種類の評価基準を設け、英語・日本語・中国語に対応している。また、静的評価とリアルタイム評価の両方が可能で、インストールも容易だ。

評価結果はインタラクティブなHTMLダッシュボードで出力され、レーダーチャートや棒グラフで視覚化される。NITI Technologyは自社の商品推薦AI「Lemonavi」にSOUKを組み込み、品質改善のサイクルを確立している。

SOUKはオープンソースとして提供され、業界全体の品質向上に貢献することを目指している。今後は評価基準の拡張やリアルタイムモニタリング機能の追加などが予定されている。詳細はGitHubページやLemonaviのウェブサイトで確認できる。