Unity Catalog de código abierto

En este video, aprenderá sobre Unity Catalog, el primer catálogo de código abierto del sector para la gobernanza de datos e IA en nubes, formatos de datos y plataformas de datos. Estos son los pilares más importantes de la visión de Unity Catalog:

• API e implementación de código abierto: se basa en la especificación OpenAPI y en una implementación de servidor de código abierto bajo la Licencia Apache 2.0. También es compatible con la API de Spark Hive Metastore y la API REST de Apache Iceberg™.
• Compatibilidad con múltiples formatos: es extensible y admite Delta Lake, Apache Iceberg a través de UniForm, Apache Parquet, CSV y todos los demás formatos existentes.
• Soporte para múltiples motores: Con sus API abiertas, Unity Catalog permite que los datos catalogados se lean en prácticamente todos los motores de cómputo.
• Multimodal: Admite todos tus datos y activos de IA, incluidas tablas, archivos, funciones y modelos de IA.
• Ecosistema vibrante: este es un esfuerzo de la comunidad y estamos muy emocionados de contar con el apoyo de Amazon Web Services, Microsoft Azure, Google Cloud, NVIDIA, Salesforce, DuckDB, LangChain, dbt Labs, Fivetran, Confluent, Unstructured, Onehouse, Immuta, Informatica y muchos más.

El proyecto está disponible hoy en GitHub como el primer paso en nuestro camino para llevar la visión de Unity Catalog al código abierto. Unity Catalog está alojado en LF AI & Data, una fundación paraguas de la Linux Foundation que apoya la innovación de código abierto en inteligencia artificial y datos, y estamos muy contentos de trabajar con las comunidades de código abierto en los próximos años para hacer realidad esta visión.