Databricks telah mengambil langkah maju yang besar dengan open source Unity Catalog, solusi tata kelola data dan AI komprehensif yang bekerja di berbagai cloud, format data, dan platform. Keputusan strategis ini memperkuat komitmen Databricks terhadap ekosistem terbuka, memberikan pelanggan fleksibilitas dan kontrol yang lebih besar tanpa terikat pada eksklusivitas vendor. Upaya perusahaan ini didukung oleh para pemimpin industri termasuk Amazon Web Services, Google Cloud, dan Microsoft.

Unity Catalog OSS dirancang sebagai antarmuka universal untuk semua format data dan mesin komputasi. Ini kompatibel dengan klien Delta Lake, Apache Iceberg™, dan Apache Hudi™ melalui Delta Lake Seragam, dan mendukung standar seperti antarmuka Iceberg REST Catalog dan Hive Metastore (HMS). Katalog ini bertujuan untuk menyederhanakan pengelolaan berbagai jenis data dan aset AI, termasuk model pembelajaran mesin dan alat AI generatif, bagi organisasi yang ingin mengelola sumber daya dalam skala besar secara efisien.

Diperkenalkan pada tahun 2021, Unity Catalog adalah jawaban Databricks terhadap meningkatnya kebutuhan akan katalog yang dapat dioperasikan yang dapat menangani data kompleks dan beban kerja AI. Sebelum implementasi, organisasi sedang mengerjakan berbagai solusi dengan tujuan tunggal yang meningkatkan tantangan biaya, kompleksitas, dan tata kelola. Unity Catalog telah diadopsi oleh lebih dari 10.000 organisasi, menghilangkan silo dan menyediakan sistem manajemen terpadu untuk berbagai objek data dalam platform intelijen data Databricks.

CEO Databricks Ali Ghodsi menyatakan antusiasmenya terhadap Unity Catalog sumber terbuka, menyoroti komitmen perusahaan terhadap format dan tata kelola terbuka. Langkah ini diharapkan dapat bekerja sama dengan para mitra untuk mengembangkan standar terbuka dan semakin memperkuat lanskap data dan AI. Unity Catalog OSS menonjol sebagai satu-satunya katalog data dan AI universal, yang menawarkan interoperabilitas, tata kelola terpadu, dan keterbukaan melalui API terbuka dan server sumber terbuka berlisensi Apache 2.0. Katalog ini akan diluncurkan pada Data + AI Summit mendatang dan menandai babak baru dalam tata kelola data dan AI yang dipimpin oleh Databricks.