Seiring dengan semakin cepatnya adopsi chatbot AI generatif, kebutuhan akan perlindungan terhadap eksploitasi jahat pun meningkat. Vertex AI telah memperkenalkan dua fitur canggih untuk meningkatkan keamanan model Gemini: Filter Konten dan Instruksi Sistem. Alat-alat ini bertujuan untuk memastikan interaksi yang aman dan andal dengan mengurangi risiko yang ditimbulkan oleh pelaku ancaman.

Filter konten berfungsi sebagai mekanisme pertahanan pascarespons, yang memeriksa teks yang dihasilkan AI dan mencegah respons yang memenuhi kriteria berbahaya tertentu. Filter ini tersedia dalam dua bentuk: filter aman yang tidak dapat dikonfigurasi yang secara otomatis memblokir konten terlarang seperti CSAM dan PII, dan filter konten yang dapat dikonfigurasi yang memungkinkan Anda menyesuaikan ambang batas pemblokiran di empat kategori konten berbahaya. Meskipun filter ini efektif, terkadang filter ini dapat salah mengidentifikasi konten yang tidak berbahaya sebagai konten berbahaya, yang dapat memengaruhi pengalaman pengguna.

Untuk melengkapi filter konten, instruksi sistem menyediakan pendekatan proaktif untuk memandu model Gemini dalam menghasilkan konten yang sesuai. Organisasi dapat menyesuaikan instruksi ini agar selaras dengan pedoman keselamatan tertentu, topik sensitif, dan identitas merek. Fitur ini memungkinkan kontrol yang lebih terperinci atas pembuatan konten, sehingga memungkinkan panduan yang terperinci dan berulang. Namun, perlu diketahui bahwa instruksi sistem rentan terhadap teknik manipulasi canggih yang dapat menyebabkan moderasi konten yang terlalu hati-hati.

Vertex AI merekomendasikan penggunaan filter konten dan arahan sistem untuk memastikan keamanan yang optimal. Kami juga mendorong organisasi untuk membuat set evaluasi guna menguji kinerja model dengan konfigurasi mereka untuk menyeimbangkan efektivitas deteksi konten yang berbahaya dengan risiko positif palsu. Pengujian proaktif ini akan menyederhanakan penyetelan model di masa mendatang dan mempertahankan standar keamanan konten yang tinggi.