Para peneliti di LegalOn Technologies telah menunjukkan bahwa GPT-4 dari OpenAI dan Claude 2 dari Anthropic dapat lulus ujian etika pengacara, suatu persyaratan bagi sebagian besar pengacara di Amerika Serikat, menandai kemajuan besar dalam bidang kecerdasan buatan (AI Ta). Pencapaian ini menyoroti potensi AI untuk mendukung para profesional hukum dan menunjukkan kecanggihan model bahasa berskala besar di bidang hukum.

Awal tahun ini, ditemukan bahwa model AI generatif, GPT-4, dapat mengungguli mahasiswa hukum dan lulus Ujian Pengacara Terpadu. Penelitian terbaru dari LegalOn memperluas temuan ini dan menunjukkan bahwa model ini juga dapat menangani aturan kompleks dan pola fakta terkait tanggung jawab profesional. Pentingnya etika dalam hukum ditekankan oleh ujian etika independen yang harus dilalui oleh pengacara.

Dalam penelitiannya, LegalOn menguji beberapa model AI generatif terkemuka, termasuk GPT-4 OpenAI, GPT-3.5, Claude 2 dari Anthropic, dan PaLM 2 Bison dari Google, untuk ujian etika hukum yang dikenal sebagai Multistate. GPT-4 memiliki performa terbaik, menjawab 74% pertanyaan dengan benar dan mengungguli rata-rata peserta tes pada manusia sekitar 6%. Baik GPT-4 maupun Claude 2 mendapat skor di atas perkiraan kriteria kelulusan MPRE di semua negara bagian yang mewajibkan MPRE.

Studi ini juga menemukan bahwa performa GPT-4 bervariasi berdasarkan materi pelajaran, sehingga menunjukkan adanya ruang untuk perbaikan. Kinerjanya sangat baik dalam bidang-bidang seperti konflik kepentingan dan hubungan pelanggan, namun tidak sebaik dalam bidang-bidang seperti penyimpanan dana. Temuan ini menunjukkan bahwa pengetahuan yang lebih spesifik pada domain serta pelatihan dan validasi yang dipimpin oleh pengacara dapat meningkatkan kinerja. Penelitian LegalOn menegaskan kembali pentingnya mengintegrasikan konten dan pengetahuan ahli hukum dengan sistem AI untuk mengembangkan alat tingkat profesional.