ZURICH - COMPL-AI, kerangka evaluasi baru untuk model Generative AI , telah mengungkap masalah compliance yang signifikan dengan model ekstraksi DeepSeek. Meskipun model ini bagus dalam mengendalikan toksisitas, model ini menunjukkan kekurangan dalam bidang seperti keamanan siber dan de-biasing, sehingga menimbulkan pertanyaan tentang kesesuaiannya untuk penerapan di perusahaan.

Kerangka kerja tersebut, yang merupakan upaya bersama antara ETH Zurich, INSAIT, dan LatticeFlow AI, menyediakan pendekatan yang berfokus pada kepatuhan untuk menerjemahkan persyaratan regulasi menjadi penilaian teknis. Kerangka kerja ini berfungsi sebagai alat independen untuk mengevaluasi model AI dari berbagai organisasi terkemuka dan membantu perusahaan menilai apakah mereka mematuhi hukum AI EU .

Dalam aplikasi COMPL-AI terkini, LatticeFlow AI meneliti dua model DeepSeek untuk menentukan apakah model tersebut mematuhi hukum AI EU , dan menemukan bahwa model tersebut tertinggal dalam langkah-langkah keamanan siber dan memiliki tingkat bias yang lebih tinggi dibandingkan dengan model yang mendasarinya, tetapi menunjukkan mitigasi toksisitas yang lebih baik.

Dr. Petar Tsankov, CEO LatticeFlow AI, menekankan pentingnya penilaian teknologi dalam menyelaraskan tata kelola AI perusahaan dengan standar compliance eksternal. Ia mencatat bahwa meskipun ada kemajuan dalam kemampuan AI, perusahaan tidak boleh mengabaikan kelemahan kritis yang menimbulkan risiko operasional. COMPL-AI bertujuan untuk menyediakan cara yang menyeluruh dan transparan untuk menilai dan mengatasi risiko terkait AI.