CyberAgent mengumumkan peluncuran hitl-harness-improver, sebuah alat GitHub yang menganalisis riwayat eksekusi agen pengkodean untuk mengukur interaksi Manusia-dalam-Loop dan mengevaluasi pola konfirmasi dan intervensi selama pengembangan perangkat lunak yang dibantu AI.

Alat ini meninjau transkrip eksekusi dan menghasilkan metrik yang mencakup frekuensi konfirmasi, kebutuhan intervensi, waktu tunggu, tingkat eksekusi otonom, dan indikator operasional lainnya. Alat ini juga mengidentifikasi kasus-kasus di mana persetujuan berlebihan atau tidak mencukupi selama eksekusi agen.

Berdasarkan analisis, sistem merekomendasikan penyesuaian pada izin, batasan, file konteks, dan keterampilan yang dapat digunakan kembali untuk meningkatkan keseimbangan antara efisiensi pengembangan dan keamanan operasional. Laporan diekspor dalam format Markdown untuk tinjauan lebih lanjut.

Rencana ke Future mencakup pengintegrasian catatan eksekusi di seluruh tim pengembangan melalui platform AI Gateway untuk mengidentifikasi pola intervensi di seluruh organisasi dan mendukung penyempurnaan berkelanjutan dari tata kelola agen pengkodean dan kebijakan operasional.