アイベリー株式会社（東京都港区）が新たに提供を開始した「GPT・BOTチェッカー」は、chatGPTを使用したチャットボットの品質検証を、従来よりも効率的に行うことが可能なツールです。ChatGPTベースのチャットボットは、一つの質問に対して様々な回答を生成します。そのため、その品質を確認するためには大量の質問と回答を試行する必要があり、それが大きな課題となっていました。「GPT・BOTチェッカー」は、この問題を解決します。大量の質問と回答をchatGPTが自動で実行し、その結果を統計的に分析します。この工程は、工業製品の不良品発生率を分析する方法と同じ考え方に基づいています。統計学的な手法、特に標準偏差を使用することで、チャットボットの回答改善方向性を明示し、その改善を迅速に進めることを目指しています。「GPT・BOTチェッカー」は、chatGPTによるチャットボットの品質検証を行うツールです。chatGPTをベースにしたchatbotは、さまざまな用途で活用されており、その品質チェックは通常手作業で行われます。しかし、chatGPTの回答は揺らぎを含むため、同じ質問に対しても異なる回答が生成されます。そのため、改善のためには大量の試行が必要ですが、手作業では困難です。「GPT・BOTチェッカー」は、この問題を解決します。大量の質問と回答をchatGPTが自動で実行し、その結果を統計的に分析します。具体的な試行回数については、一つの質問に対して最低100回、異なる質問の種類に対して最低100種類の試行を推奨しています。これにより、品質の低い回答を特定し、プロンプトの改善に活かすことができます。また、「GPT・BOTチェッカー」では、回答の品質を数値化することも特徴です。一般的な回答のチェックでは、担当者が回答をチェックし、誤った回答でないかを判断します。しかし、大量の回答の品質チェックは人力では困難です。そこで、「GPT・BOTチェッカー」では、回答の品質を数値化する評価ガイドラインを設けています。これにより、人間の介入を最小限にし、正確かつ効率的に回答の品質を判断することができます。さらに、「GPT・BOTチェッカー」では、統計的な手法を使用しています。工業生産品の不良品発生率と同様に、チャットボットの不良回答率も統計的に扱います。目標とする回答品質は、平均90・標準偏差σ4.0程度です。これにより、全ての回答の99.7%が78点以上、95%以上が82点以上の品質となることを目指しています。「GPT・BOTチェッカー」は、chatGPTを基盤としたchatbotの品質検証を効率的に行うためのツールです。大量の試行と統計的な分析により、品質の低い回答を特定し、改善することができます。これにより、チャットボットの開発工程を短縮し、品質チェックの労力を削減することが可能です。