Menurut Meta AI, kepala ilmuwan AI Yann LeCun mengumumkan I-JEPA, sebuah arsitektur AI yang bertujuan untuk mencapai kecerdasan mirip manusia. I-JEPA adalah singkatan dari Image Joint Embedding Predictive Architecture dan menyatakan bahwa ini adalah lompatan maju yang besar dalam pengembangan AI. Ini mewujudkan visi LeCun dalam menciptakan mesin yang mempelajari model internal dunia, memungkinkan pembelajaran cepat, perencanaan tugas yang kompleks, dan kemampuan beradaptasi.

Tidak seperti model AI tradisional, I-JEPA belajar dengan membuat model internal dunia luar sambil membandingkan representasi abstrak berupa gambar, bukan piksel. Pendekatan ini tidak hanya menunjukkan kinerja yang kuat dalam tugas-tugas visi komputer, namun juga menunjukkan efisiensi komputasi yang unggul dibandingkan dengan model yang ada. Selain itu, ekspresi yang dipelajari oleh I-JEPA dapat diterapkan ke berbagai aplikasi tanpa penyesuaian yang ekstensif, sehingga menunjukkan keserbagunaannya yang tinggi.


Untuk mendemonstrasikan kemampuannya, I-JEPA melatih model transformasi visual dalam waktu kurang dari 72 jam menggunakan 16 GPU A100. Selain itu, ImageNet mencapai kinerja canggih pada tugas klasifikasi tingkat rendah hanya dengan 12 sampel berlabel per kelas. Landasan I-JEPA adalah memperoleh pengetahuan akal sehat dengan secara pasif mengamati data tak berlabel seperti gambar dan suara, mendorong perilaku cerdas, perolehan konsep yang efisien, landasan, perencanaan, dll. Ia menjelaskan bahwa hal itu didasarkan pada pembelajaran yang diawasi sendiri.

Aspek penting dari I-JEPA adalah kemampuannya untuk memprediksi informasi yang hilang menggunakan ekspresi abstrak yang mendekati pemahaman manusia. I-JEPA menekankan fitur semantik dan menghilangkan detail tingkat piksel yang tidak perlu. Dia menunjukkan bahwa model tersebut memprediksi blok besar yang berisi informasi semantik dan menggabungkan konteks yang terdistribusi secara spasial menggunakan strategi penyembunyian multi-blok.

Efisiensi tinggi I-JEPA berasal dari pemrosesan tampilan gambar oleh encoder target dan blok konteks oleh encoder konteks. Pendekatan ini memberikan representasi semantik siap pakai yang kuat tanpa memerlukan augmentasi data yang intensif secara komputasi atau beberapa tampilan gambar.

I-JEPA mewakili langkah maju yang besar menuju pencapaian kecerdasan tingkat manusia dalam AI. Meta berencana untuk memperluas pendekatan Arsitektur Prediktif Penyematan Bersama ke area lain seperti pasangan gambar-teks dan video. Mereka mengatakan kemajuan ini berpotensi merevolusi tugas-tugas seperti pemahaman video dan membuka jalan bagi metode pengawasan mandiri untuk mempelajari model-model dunia yang komprehensif.