Tim peneliti dari University of Sydney telah mengembangkan alat yang didukung AI untuk meningkatkan akurasi kutipan dalam makalah akademis. Alat validasi kutipan semantik ini bertujuan untuk mengatasi tantangan yang semakin kompleks dalam memastikan akurasi kutipan semantik dengan munculnya model bahasa skala besar (LLM) dalam pembuatan konten. Alat ini bertujuan untuk mengotomatiskan proses validasi kutipan dengan membandingkan pernyataan faktual dengan teks referensi, sehingga menjaga integritas penelitian lintas disiplin ilmu.

Kebutuhan akan alat semacam itu disorot oleh pengalaman tim dengan Aplikasi Penilaian Dampak Penelitian. Aplikasi tersebut menghasilkan laporan dampak untuk penelitian ilmiah, tetapi tidak memiliki kemampuan validasi kutipan independen. Dibangun dengan layanan mikro NVIDIA NIM, validator kutipan semantik menggabungkan model bahasa yang disetel dengan baik dan kumpulan data khusus untuk memvalidasi kutipan. Alat tersebut menyediakan klasifikasi seperti "didukung", "didukung sebagian", "tidak didukung", dan "tidak pasti", serta penalaran terperinci dan cuplikan relevan dari teks sumber.

Alat ini dipresentasikan di Generative AI CodeFest Australia dan memanfaatkan NVIDIA NeMo Retriever untuk tugas pengambilan informasi. Alat ini memiliki alur pemrosesan lima tahap: pemrosesan input, pemrosesan dokumen, manajemen vektor, pencocokan dan analisis, serta pembuatan output. Prototipe aplikasi web yang dikembangkan dengan Streamlit menyediakan antarmuka intuitif bagi pengguna untuk memasukkan kutipan dan berkas bibliografi untuk validasi otomatis.

Di masa mendatang, para peneliti berencana untuk lebih meningkatkan kemampuan alat tersebut, termasuk ekstraksi kutipan dan ekstraksi referensi otomatis, serta integrasi dengan basis data ilmiah untuk verifikasi sumber langsung. Peningkatan ini bertujuan untuk mengurangi waktu verifikasi dan membantu mempertahankan standar akurasi tinggi untuk konten yang dibuat manusia dan konten yang dihasilkan AI. Untuk informasi lebih lanjut dan pembaruan tentang solusi inovatif ini, silakan kunjungi RefCheckAI.