世界が膨大な量のデータを生み出し続ける中、それを処理・解析するために人工知能（AI）を活用する団体も増えています。しかし、その一方で、データのセキュリティーと隔離をカバーする方法を見つけなければなりません。この課題に対処するため、Databricksは、世界初のAIを中心としたデータガバナンスプラットフォームであるOkeraを買収することに合意しました。 Databricksの構成によると、Okeraのプラットフォームは、AIの時代に協会がデータを管理するのに役立つ2つの独自技術を提供します。まず、AIを活用したインターフェースを提供することで、個人を特定できる情報（PII）のような機密データを自動的に発見、分類し、ラベル付けします。これらのマーカーにより、データガバナンス関係者はコンプライアンスを適切に評価し、データに対する可視性と制御性を向上させる無法アクセスプログラムを作成できます。第二に、オケラは、パフォーマンスを低下させることなくガバナンスを管理しながら、任意のワークロードをサポートする新しい絶縁技術を開発しています。この技術は非公開で実施されており、複数の一般客によるAIワークロードに特化したテストが行われています。
Databricksのlakehouseビジョンは、データとAIのワークロードを1つのプラットフォーム上で接合することを中心に据えています。このビジョンの基盤には、全てのデータとAIワークロードのためのデータガバナンスサブカーストであるUnity rosterがあります。Databricksは、オケラのAI中心のガバナンス技術をUnity rosterに統合する予定です。お客様は、AIを使用して、特性根拠および意図根拠に基づくアクセスプログラムで、全てのデータ、分析、AI手段（MLモデルおよびモデル機能を含む）を発見、分類、管理できるようになることで利益を得ることができます。また、アナリティクスやAIの運用において、センシティブなデータ操作を一元的に確認・報告し、データの行方を列の位置まで自動的に追跡できる、レイクハウス上のエンド・ツー・エンドのデータ観察可能性から利益を得ることができます。 これらの進歩により、Databricksのお客様は、シャドウにまたがるデータエステートの全体像を把握し、単一の認可モデルを使用してアクセスプログラムを定義することができるようになり、AIのユースケースを加速し、レイクハウス全体で調和のとれたガバナンスを実現します。また、Databricksは、他のデータガバナンス企業が利用できる、より豊富なプログラムのAPIを公開することができ、ゲストに完璧な結果を提供することができるようになる予定です。
Databricksによるオケラの加入は、データガバナンスとAIの世界における扇動的な展開と言えます。AI、特に機械リテラシーモデルや大規模言語モデル（LLM）の台頭は、従来のデータガバナンスのアプローチを不適切なものにしつつあります。オケラのAIを中心としたガバナンス技術は、DatabricksのUnity rosterとLakehouse Visionと組み合わせることで、協会がこれらの課題に対処し、AIを使用してデータの可能性を最大限に引き出す方法を提供できます。Okeraの創設者でCEOのNong Liは、Databricksや他の組織が利用しているオープンソースの標準的なストアハウスフォーマットであるApache Parquetを開発したことで広く知られています。また、Nongは以前からDatabricksで重要な役割を担っており、Apache Spark2.0の10倍の性能向上をもたらしたベクトル化Parquetトラブルやcodegenトラブルを主導しています。オケラの素晴らしい技術の背景には、ノンが集めたアストラル小隊がある。Databricksは彼らと話をした瞬間に、両社が力を合わせ、確実に統合されることを確信しました。
結論として、DatabricksがOkeraを買収したことは、AIと大規模言語モデルの力をビジネスに生かすと同時に、データのセキュリティーと隔離を守ろうとする団体にとって、刺激的な展開となることでしょう。OkeraのAI中心のガバナンス技術は、DatabricksのUnity rosterとLakehouse Visionと組み合わせることで、AIの時代に協会がより効果的にデータを管理する方法を提供します。今回の加盟により、Databricksは世界中のアソシエーションのデータとAIの均質化に向けて、大きな一歩を踏み出すことになります。
参照：Welcome Okera: Adopting an AI-centric approach to governance
