Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Honda của nhóm AI Lab NLP đã phát triển một phương pháp mới để giải quyết vấn đề lối tắt trong các nhiệm vụ hiểu ngôn ngữ tự nhiên. Nghiên cứu của họ đã được "Transactions of the Association for Computational Linguistics" chấp nhận. Phương pháp này cho phép các mô hình đưa ra dự đoán mạnh mẽ hơn mà không cần dựa vào các dự đoán ngắn hạn.

Nhóm nghiên cứu chỉ ra rằng trong các tập dữ liệu cho các nhiệm vụ hiểu ngôn ngữ tự nhiên, thành kiến và phương pháp tìm kiếm của người chú thích ảnh hưởng đến các dự đoán nhãn. Họ gọi những thành kiến này là "lối tắt" và giải thích rằng chúng khiến sức mạnh dự đoán của mô hình bị suy yếu. Do đó, nghiên cứu đã được tiến hành để giảm sự phụ thuộc vào các lối tắt.

Phương pháp được đề xuất sử dụng mô hình hỗn hợp các chuyên gia (MoE) để mô hình hóa cấu trúc dữ liệu trong đó nhiều tính năng có tương quan với nhãn. Trong quá trình đào tạo, các chuyên gia đưa ra dự đoán dựa trên các tính năng khác nhau đã được thiết lập và một phương pháp được đề xuất để đưa ra quyết định tối ưu trong quá trình suy luận.

Các thí nghiệm cho thấy phương pháp được đề xuất cho phép đưa ra dự đoán mạnh mẽ trong dữ liệu không phân phối trong các nhiệm vụ nhận dạng hàm ý, xác định diễn giải và xác minh thực tế. Nhóm AI Lab NLP sẽ tiếp tục hợp tác với các chuyên gia khác để thúc đẩy lĩnh vực xử lý ngôn ngữ tự nhiên. Các cơ hội thực tập nghiên cứu cũng dành cho các nhà nghiên cứu và sinh viên quan tâm.