OpenAI telah menekankan pentingnya penggunaan teknik evaluasi (eval) untuk meningkatkan kinerja sistem AI dalam mencapai tujuan organisasi. Layaknya dokumen persyaratan produk, eval bertujuan untuk menerjemahkan tujuan abstrak menjadi tujuan yang konkret dan terukur. Dengan menerapkan eval, perusahaan dapat meningkatkan keandalan produk dan perangkat mereka, mengurangi kesalahan kritis, memitigasi risiko, dan meningkatkan laba atas investasi secara terukur.

Para peneliti OpenAI menggunakan eval tingkat lanjut untuk menilai efektivitas model AI di berbagai domain. Namun, eval mutakhir ini tidak selalu mencakup semua faktor kompleks yang diperlukan untuk memastikan kinerja optimal dalam alur kerja bisnis tertentu. Untuk mengatasi masalah ini, OpenAI telah mengembangkan berbagai evaluasi kontekstual yang dirancang khusus untuk mengevaluasi sistem AI dalam produk dan proses internal tertentu. Para pemimpin bisnis didorong untuk membuat evaluasi kontekstual mereka sendiri yang disesuaikan dengan kebutuhan dan lingkungan operasional unik mereka.

OpenAI menguraikan proses tiga langkah untuk melakukan evaluasi: mengklarifikasi arti kinerja "baik", membandingkannya dengan kondisi dunia nyata, dan terus melakukan perbaikan berdasarkan kesalahan yang teridentifikasi. Dalam pendekatan iteratif ini, tim lintas fungsi, termasuk pakar domain dan pemimpin teknis, mendefinisikan kesuksesan dan menetapkan serangkaian sampel emas untuk referensi. Pengujian di dunia nyata dan audit pakar sangat penting untuk menjaga akurasi dan keselarasan dengan tujuan inti.

OpenAI menekankan bahwa evaluasi bukanlah proses yang dapat diatur dan dilupakan; evaluasi memerlukan pemeliharaan dan adaptasi berkelanjutan seiring perkembangan model, data, dan tujuan bisnis. Evaluasi melengkapi pengujian A/B tradisional dan eksperimen produk, memberikan wawasan tentang dampak kinerja di dunia nyata. Bagi para pemimpin bisnis, menguasai evaluasi dianggap sebagai perluasan keterampilan manajemen di era AI, di mana tujuan yang ditetapkan dengan jelas dan pemahaman konteks bisnis merupakan hal yang terpenting. OpenAI mendorong eksperimen dengan evaluasi untuk menemukan proses yang paling sesuai dengan kebutuhan unik organisasi Anda.