Honda dari tim NLP AI Lab mengembangkan metode baru untuk mengatasi masalah jalan pintas dalam tugas pemahaman bahasa alami. Penelitian mereka diterima oleh "Transactions of the Association for Computational Linguistics." Metode ini memungkinkan model untuk membuat prediksi yang lebih kuat tanpa bergantung pada prediksi jangka pendek.

Tim peneliti menunjukkan bahwa dalam kumpulan data untuk tugas pemahaman bahasa alami, bias dan heuristik anotator memengaruhi prediksi label. Mereka menyebut bias ini "jalan pintas" dan menjelaskan bahwa hal itu menyebabkan daya prediksi model menjadi terganggu. Oleh karena itu, penelitian dilakukan untuk mengurangi ketergantungan pada jalan pintas.

Metode yang diusulkan menggunakan model campuran pakar (MoE) untuk memodelkan struktur data di mana beberapa fitur berkorelasi dengan label. Selama pelatihan, pakar yang membuat prediksi berdasarkan fitur yang berbeda ditetapkan, dan sebuah metode diusulkan untuk membuat keputusan yang optimal selama inferensi.

Eksperimen menunjukkan bahwa metode yang diusulkan memungkinkan prediksi yang kuat dalam data di luar distribusi dalam tugas pengenalan implikasi, identifikasi parafrase, dan verifikasi faktual. Tim NLP AI Lab akan terus berkolaborasi dengan spesialis lain untuk memajukan bidang pemrosesan bahasa alami. Kesempatan magang penelitian juga tersedia bagi peneliti dan mahasiswa yang berminat.