OpenAIは、インターネット全体からデータを収集するウェブクローラー、GPTBotを公開しました。GPTBotは特定のユーザーエージェントを使用しており、これによりサイトの管理者はGPTBotのアクセスを許可または拒否することができます。クロールされたデータは、AIモデルの改善に利用される可能性がありますが、プライバシーに関連する情報やポリシー違反のテキストは除外されます。詳細は下記リンクからOpenAIのドキュメンテーションをご覧ください。