Penelitian terbaru dalam pengembangan model bahasa (LM) telah memperkenalkan pendekatan baru untuk mengatasi keterbatasan pemrosesan konteks panjang. Tidak seperti model Transformer tradisional, yang kesulitan dengan efisiensi saat menangani konteks yang luas, pendekatan baru ini, yang disebut pembelajaran waktu uji ujung-ke-ujung (TTT-E2E), bertujuan untuk meningkatkan akurasi dan kecepatan LM. Dengan mengompres konteks ke dalam bobot model melalui prediksi token berikutnya, TTT-E2E telah menunjukkan hasil yang menjanjikan dalam mempertahankan kinerja bahkan dalam konteks panjang, seperti yang ditunjukkan dalam penelitian terbaru.

Hasil penelitian, yang ditunjukkan pada Gambar 1, mengungkapkan bahwa Transformer dengan perhatian penuh menunjukkan kinerja akurasi yang sangat baik tetapi mengalami kekurangan latency seiring bertambahnya panjang konteks. Sementara itu, jaringan saraf berulang (RNN) seperti Mamba 2 dan Gated DeltaNet menunjukkan latency tetapi tidak seefektif dalam hal akurasi. TTT-E2E telah muncul sebagai satu-satunya metode yang menunjukkan kinerja superior di kedua area tersebut, menawarkan solusi potensial untuk tantangan lama pemrosesan konteks panjang dalam LM.

TTT-E2E berpotensi menjadi terobosan dalam bidang kecerdasan buatan, karena dapat menangani berbagai konteks tanpa meningkatkan latency secara signifikan. Metode ini menunjukkan kinerja yang konsisten di berbagai panjang konteks, menunjukkan potensinya untuk membuka jalan bagi model bahasa (LM) yang lebih efisien dan efektif dalam waktu dekat. Tim peneliti telah mempublikasikan makalah dan kode mereka, mengundang komunitas yang lebih luas untuk mengeksplorasi dan mengembangkan temuan mereka.

Penelitian ini juga menggali secara mendalam perbedaan antara memori manusia dan memori LM, menyoroti kemampuan manusia untuk memadatkan sejumlah besar pengalaman menjadi pengetahuan intuitif. Temuan ini telah menginformasikan pengembangan TTT-E2E, yang meniru kompresi seperti manusia untuk meningkatkan kinerja LM. Desain metode ini, yang menggabungkan meta-learning selama fase pelatihan, meletakkan dasar bagi LM untuk lebih baik menangkap dan memanfaatkan informasi prediktif dalam konteks yang panjang. Meskipun masih ada tantangan yang harus diatasi, seperti mengoptimalkan fase meta-learning, tim peneliti optimis tentang masa depan LM dan mendorong kolaborasi untuk lebih mengembangkan teknologi yang menjanjikan ini.