Presentamos la disponibilidad general del gobierno de datos entre nubes

Nos complace anunciar que la capacidad de acceder a los datos de AWS S3 en Azure Databricks a través de Unity Catalog para habilitar el gobierno de datos entre nubes ya está disponible de forma general (GA). Como la única solución de gobierno abierta y unificada del sector para todos los activos de datos e IA, Unity Catalog permite a las organizaciones gobernar los datos dondequiera que residan, garantizando la seguridad, el cumplimiento y la interoperabilidad entre nubes. Con este lanzamiento, los equipos pueden configurar y consultar directamente datos de AWS S3 desde Azure Databricks sin necesidad de migrar o copiar conjuntos de datos. Esto facilita la estandarización de políticas, controles de acceso y auditorías tanto en el almacenamiento ADLS como en el S3.

En este blog, abordaremos dos temas clave:

• Cómo habilita Unity Catalog el gobierno de datos entre nubes
• Cómo acceder y trabajar con datos de AWS S3 desde Azure Databricks

¿Qué es el gobierno de datos entre nubes en Unity Catalog?

A medida que las empresas adoptan arquitecturas híbridas y entre nubes, a menudo se enfrentan a controles de acceso fragmentados, políticas de seguridad inconsistentes y procesos de gobierno duplicados. Esta complejidad aumenta el riesgo, eleva los costos operativos y frena la innovación.

El gobierno de datos entre nubes con Unity Catalog simplifica esto al extender un único modelo de permisos, la aplicación centralizada de políticas y una auditoría exhaustiva en todos los datos almacenados en múltiples nubes, como AWS S3 y Azure Data Lake Storage, todo administrado desde la plataforma de Databricks.

Los beneficios clave de aprovechar el gobierno de datos entre nubes en Unity Catalog incluyen:

• Gobierno unificado – Administre políticas de acceso, controles de seguridad y estándares de cumplimiento desde un solo lugar sin tener que lidiar con sistemas aislados
• Acceso a datos sin fricciones – Descubra, consulte y analice datos de forma segura entre nubes en un único espacio de trabajo, eliminando silos y reduciendo la complejidad
• Mayor seguridad y cumplimiento – Obtenga visibilidad centralizada, etiquetado, linaje, clasificación de datos y auditoría en todo su almacenamiento en la nube

Al conectar el gobierno entre nubes, Unity Catalog ofrece a los equipos una interfaz única y segura para administrar y maximizar el valor de todos sus activos de datos e IA, dondequiera que residan.

Cómo funciona

Anteriormente, al usar Azure Databricks, Unity Catalog solo admitía ubicaciones de almacenamiento dentro de ADLS. Esto significaba que si tenía datos almacenados en un bucket de AWS S3 pero necesitaba acceder a ellos y procesarlos con Unity Catalog en Azure Databricks, el enfoque tradicional requería extraer, transformar y cargar (ETL) esos datos en un contenedor de ADLS, un proceso costoso y que requiere mucho tiempo. Esto también aumenta el riesgo de mantener copias de datos duplicadas y desactualizadas.

Con este lanzamiento de GA, ahora puede configurar una ubicación externa de S3 entre nubes directamente desde Unity Catalog en Azure Databricks. Esto le permite leer y gobernar sin problemas sus datos de S3 sin migración ni duplicación.

Puede configurar el acceso a su bucket de AWS S3 en unos sencillos pasos:

1. Configure su credencial de almacenamiento y cree una ubicación externa. Una vez aprovisionados sus recursos de AWS IAM y S3, puede crear su credencial de almacenamiento y ubicación externa directamente en el Catalog Explorer de Azure Databricks.
   • Para crear su credencial de almacenamiento, navegue a Credentials dentro del Catalog Explorer. Seleccione AWS IAM Role (Read-only), complete los campos requeridos y agregue el fragmento de política de confianza cuando se le solicite.​
   • Para crear una ubicación externa, navegue a External locations dentro del Catalog Explorer. Luego, seleccione la credencial que acaba de configurar y complete los detalles restantes.
2. Aplique permisos. En la página Credentials dentro del Catalog Explorer, ahora puede ver sus datos de ADLS y S3 juntos en un solo lugar en Azure Databricks. Desde allí, puede aplicar permisos consistentes en ambos sistemas de almacenamiento.

3. ¡Comience a realizar consultas! Ya está listo para consultar sus datos de S3 directamente desde su espacio de trabajo de Azure Databricks.

¿Qué es compatible en el lanzamiento de GA?

Con la GA, ahora admitimos el acceso a tablas y volúmenes externos en S3 desde Azure Databricks. Específicamente, las siguientes características ahora son compatibles en capacidad de solo lectura:

• Credenciales de almacenamiento de rol de AWS IAM
• Ubicaciones externas de S3
• Tablas externas de S3
• Volúmenes externos de S3
• Acceso dbutils.fs de S3
• Delta Sharing de S3 desde UC en Azure

Primeros pasos

Para probar el gobierno de datos entre nubes en Azure Databricks, consulte nuestra documentación sobre cómo configurar credenciales de almacenamiento para roles de IAM para el almacenamiento de S3 en Azure Databricks. Es importante tener en cuenta que su proveedor de nube puede cobrar tarifas por acceder a datos externos a sus servicios en la nube. Para comenzar con Unity Catalog, siga nuestra guía de Unity Catalog para Azure.

¡Únase al equipo de ingeniería y producto de Unity Catalog en el Data + AI Summit, del 9 al 12 de junio en el Moscone Center de San Francisco! Conozca de primera mano las últimas innovaciones en gobierno de datos e IA. ¡Regístrese ahora para asegurar su lugar!

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original