Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Vertex AI（本社所在地）は、AIを活用したチャットボットやエージェントの導入が進む中、有害なコンテンツのリスクを軽減するための新機能を発表した。コンテンツフィルタとシステム指示を用いて、安全かつ信頼性のあるやり取りを実現する方法を提供する。

コンテンツフィルタ機能では、生成されたテキストを分析し、有害なコンテンツをブロックする。Geminiモデルには、安全フィルタと構成可能なフィルタの2種類があり、禁止コンテンツの自動ブロックや有害カテゴリのしきい値設定が可能だ。ただし、誤検出のリスクも指摘されている。

一方、システム指示は、モデルの動作を事前に調整し、組織のニーズに合わせるためのガイダンスを提供する。これにより、ブランドの価値やターゲットオーディエンスに合わせたコンテンツ生成が可能となる。具体的な指示により、有害な内容の定義や回避したいトピックを明確にすることができる。

Vertex AIは、コンテンツフィルタとシステム指示の両方を使用することを推奨している。また、モデルの安全性構成を評価するためには、独自の評価セットを作成し、事前にテストすることが有効だと述べている。これにより、将来の変更時にテスト時間を短縮できるという。