Kemajuan terbaru dalam teknologi AI terungkap dengan diperkenalkannya SAM 3 dan SAM 3D, bagian dari koleksi Segment Anything. SAM 3 meningkatkan deteksi dan pelacakan objek dalam gambar dan video menggunakan perintah teks dan visual, sementara SAM 3D mengambil lompatan kuantum ke depan dengan memungkinkan rekonstruksi 3D objek dan orang dari satu gambar. Kedua perangkat ini tersedia secara eksperimental di platform Segment Anything Playground.

SAM 3 menandai langkah penting dalam evolusi perangkat media kreatif, yang memungkinkan interaksi yang lebih intuitif dengan konten visual. Sementara model sebelumnya hanya memungkinkan pelabelan teks dasar, SAM 3 mendukung lebih banyak perintah teks detail, sehingga memungkinkan segmentasi yang lebih akurat. Fitur ini sangat berguna untuk penyuntingan video, yang memungkinkan kreator menerapkan efek pada objek atau orang tertentu dalam rekaman. Teknologi ini akan mendukung berbagai aplikasi, termasuk aplikasi pembuatan video "Edits" dan fitur "Vibes" di aplikasi Meta AI.

Sementara itu, SAM 3D menetapkan standar baru untuk rekonstruksi 3D berbasis AI dengan dua model sumber terbuka. Model-model ini dirancang untuk performa yang tangguh dalam rekonstruksi objek dan pemandangan, serta estimasi bentuk dan tubuh manusia. Rilis SAM 3D ini diharapkan dapat memberikan manfaat bagi berbagai bidang, mulai dari robotika hingga kedokteran olahraga, dengan menyediakan metode pemodelan 3D yang lebih realistis dan teliti. Selain itu, teknologi ini digunakan untuk meningkatkan pengalaman pengguna, seperti fitur "Lihat di Ruangan" di Facebook Marketplace, yang memungkinkan pengguna memvisualisasikan barang di ruangan mereka sendiri sebelum membeli.

Platform Segment Anything Playground memungkinkan pengguna menjelajahi model-model mutakhir ini tanpa memerlukan pengetahuan khusus. Pengguna dapat mengunggah gambar atau video dan menggunakan SAM 3 untuk melakukan segmentasi objek dengan perintah teks sederhana, atau SAM 3D untuk berinteraksi dengan adegan 3D. Platform ini juga mencakup berbagi bobot model, set data tolok ukur, dan makalah penelitian untuk mendorong inovasi dan kustomisasi lebih lanjut. Inisiatif ini bertujuan untuk memberdayakan pengguna dalam mengeksplorasi kreativitas mereka dan memperluas kemungkinan teknologi AI.