Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

生成型 AI チャットボットの導入が加速するにつれ、悪意のある悪用に対する保護の必要性が高まっています。Vertex AI は、 Gemini モデルのセキュリティを強化するために、コンテンツ フィルターとシステム インストラクションという 2 つの強力な機能を導入しました。これらのツールは、脅威アクターがもたらすリスクを軽減することで、安全で信頼性の高いインタラクションを確保することを目的としています。

コンテンツ フィルターは、応答後の防御メカニズムとして機能し、AI によって生成されたテキストを精査し、特定の有害基準を満たす応答を防止します。これらのフィルターには、CSAM や PII などの禁止コンテンツを自動的にブロックする設定不可能な安全フィルターと、4 つの有害コンテンツのカテゴリにわたってブロックしきい値をカスタマイズできる設定可能なコンテンツ フィルターの 2 種類があります。これらのフィルターは効果的ですが、無害なコンテンツを有害であると誤認することがあり、ユーザー エクスペリエンスに影響を及ぼす可能性があります。

コンテンツ フィルターを補完するために、システム指示は、適切なコンテンツを生成するために Gemini モデルをガイドするプロアクティブなアプローチを提供します。組織は、特定の安全ガイドライン、デリケートなトピック、ブランド アイデンティティに合わせてこれらの指示をカスタマイズできます。この機能により、コンテンツ生成をより細かく制御できるため、詳細で反復的なガイダンスが可能になります。ただし、システム指示は高度な操作手法に対して脆弱であり、過度に慎重なコンテンツ モデレーションにつながる可能性があることに注意してください。

Vertex AI では、最適な安全性を確保するために、コンテンツ フィルターとシステム指示の両方の使用を推奨しています。また、組織は、評価セットを作成して、モデルのパフォーマンスを自社の構成でテストし、有害コンテンツ検出の有効性と誤検出のリスクのバランスを取ることをお勧めします。このプロアクティブなテストにより、将来のモデル調整を効率化し、コンテンツ セキュリティの高水準を維持できます。