por Bryan Saftler
La gobernanza de datos, análisis e IA es quizás el aspecto más importante y desafiante de cualquier esfuerzo de democratización de datos e IA. Para sus necesidades de datos, análisis e IA, probablemente haya implementado dos sistemas diferentes: almacenes de datos para inteligencia empresarial y lagos de datos para IA. Y ahora ha creado silos de datos con movimiento de datos a través de dos sistemas, cada uno con un modelo de gobernanza diferente.
Pero los datos no se limitan a archivos o tablas. También tiene activos como paneles, modelos de ML y cuadernos, cada uno con sus propios modelos de permisos, lo que dificulta la gestión de los permisos de acceso para todos estos activos de manera coherente. El problema se agrava cuando sus activos de datos existen en varias nubes con diferentes soluciones de gestión de acceso. Buenas noticias, hay una manera de unificar la gobernanza de datos. ¿Pero por qué debería importarle?
Sin una gobernanza de datos sólida, los equipos y las empresas no pueden comprender completamente a su audiencia, impulsar mejores resultados comerciales operativa y a lo largo del ciclo de vida del consumidor, o controlar el sesgo algorítmico y centrado en los datos. A medida que los modelos de IA se vuelven más complejos, es vital comprender cómo se rigen y cómo interactúan con los activos de datos internos y externos.
Los CIO entienden esto. De hecho, el 98% de los CIO dicen que avanzar hacia un enfoque unificado y coherente de la gobernanza es importante, según se encontró en el MIT Technology Report co-desarrollado por Databricks: Bringing Breakthrough Data Intelligence to Industries.
En el vertiginoso mundo de las comunicaciones, los medios y el entretenimiento, las audiencias exigen experiencias personalizadas adaptadas a sus preferencias únicas. Esto requiere una comprensión profunda de los datos del usuario, desde los hábitos de consumo de contenido y la comprensión de la participación en el clickstream hasta la información demográfica, de compras pasadas y transaccional. Sin embargo, estos datos a menudo se encuentran en silos en varios sistemas y plataformas, lo que dificulta obtener una visión unificada del cliente. Una gobernanza de datos eficaz es esencial para consolidar y armonizar estos datos dispares, lo que permite a las empresas de medios construir un perfil de 360 grados de su audiencia. A partir de ese perfil de 360 grados, los equipos pueden construir mejor modelos y sistemas de IA en torno a experiencias hiperpersonalizadas, recomendaciones de contenido y más que mantienen a las audiencias comprometidas y regresando.
A medida que los modelos de IA se vuelven más complejos, es crucial comprender cómo interactúan con los datos que los alimentan. Las prácticas sólidas de gobernanza de datos garantizan la transparencia y la explicabilidad en las información impulsadas por IA. Esto se logra manteniendo un linaje de datos detallado, procedencia y métricas de calidad que permiten a los equipos de datos rastrear los orígenes y las transformaciones de los datos utilizados para entrenar modelos de IA.
Esto significa que una gobernanza de datos sólida ya no es opcional, sino esencial. Según McKinsey & Company, las empresas que carecen de una gobernanza de datos eficaz desperdician hasta el 29% del tiempo de su fuerza laboral en tareas improductivas debido a la mala calidad de los datos. Sin embargo, a pesar de su papel fundamental en la mejora de la calidad de los datos y la toma de decisiones, la gobernanza de datos a menudo no aumenta directamente las ganancias, lo que lleva a algunas empresas a relegarla a los departamentos de TI en lugar de tratarla como una prioridad estratégica.
Para que la gobernanza de datos transforme una organización, debe ser liderada por altos ejecutivos. Con el aumento de los mandatos gubernamentales, roles como el Director de IA y el Director de Datos (CDO) ahora están impulsando la iniciativa. Esto es especialmente importante para la IA, que se basa en el contexto empresarial además de los datos subyacentes. Al lanzar un programa de gobernanza de datos, el primer paso del CDO es obtener el respaldo del negocio. Esto implica establecer dos entidades clave: la Oficina de Gestión de Datos (DMO) para establecer políticas y un Consejo de Datos de líderes empresariales para establecer prioridades y garantizar el cumplimiento. Una estrategia crucial es centrarse en áreas de datos específicas, como datos de clientes o productos, para que la iniciativa sea manejable y esté alineada con los objetivos estratégicos. Este enfoque específico ayuda a evitar que el alcance abrumador de la gobernanza de datos descarrille el programa. Demostrar los beneficios comerciales tangibles de la gobernanza de datos es vital para mantener la financiación y el apoyo ejecutivo. La DMO desempeña un papel fundamental en la documentación de los éxitos y la comunicación del valor de la inversión continua, asegurando que la gobernanza de datos siga siendo una prioridad incluso después de que se aborden los problemas inmediatos.
Al definir los estándares de gobernanza de datos, la DMO debe examinar de cerca cómo se crean y acceden a los datos en toda la empresa. Si bien cierto nivel de redundancia de datos es a menudo inevitable, especialmente para fines operativos, los avances en las capacidades de análisis ahora permiten a las organizaciones consolidar su infraestructura de análisis. En lugar de mantener un panorama fragmentado de almacenes de datos independientes, data marts, lagos de datos y plataformas especializadas de ciencia de datos, las organizaciones deberían considerar consolidar estos entornos dispares en una plataforma de datos unificada para toda la empresa. Este enfoque centralizado puede respaldar mejor la gama completa de necesidades analíticas que se encuentran en toda la empresa.
La Plataforma de Inteligencia de Datos de Databricks se ha construido desde cero con esta visión de un enfoque unificado para datos y análisis en mente. Impulsada por una capa de gestión de datos en Delta Lake capaz de trabajar con datos estructurados y no estructurados que se originan tanto interna como externamente con rendimiento y rentabilidad, Databricks permite a las organizaciones consolidar todos sus activos de información orientados al análisis dentro de una única plataforma unificada.
Con soporte para procesamiento en tiempo real y por lotes, la plataforma Databricks permite a los ingenieros de datos procesar y entregar información al negocio a las velocidades que son críticas para respaldar un resultado comercial deseado. Con la integración con todas las plataformas modernas de inteligencia empresarial y descubrimiento de datos del mercado actual, así como un sólido soporte para cargas de trabajo de aprendizaje automático e IA, incluida la IA generativa, Databricks es capaz de satisfacer la gama más completa de necesidades analíticas de la organización.
La Plataforma de Inteligencia de Datos de Databricks se está convirtiendo rápidamente en el estándar de la industria para la gestión de datos innovadora. Aquí es donde entra Unity Catalog. Unity Catalog está revolucionando la gobernanza de datos al ofrecer una capa unificada y sin fisuras para gestionar datos estructurados y no estructurados, modelos de aprendizaje automático y varios otros activos digitales en cualquier nube o plataforma. Como resultado, Unity Catalog permite a los profesionales de datos acceder y colaborar de forma segura en datos confiables, aprovechando la inteligencia artificial para mejorar la productividad y explotar al máximo las capacidades de la arquitectura lakehouse. Esto es particularmente importante debido a las regulaciones de privacidad de datos como el Reglamento General de Protección de Datos (GDPR) y la Ley de Privacidad del Consumidor de California (CCPA), donde el linaje de datos es una consideración crítica al abordar el "derecho al olvido". Estas regulaciones exigen que las organizaciones puedan identificar el origen y el flujo de los datos personales, para poder localizarlos y eliminarlos a petición.
Las organizaciones de medios y entretenimiento a menudo operan en un entorno multicloud, con datos y aplicaciones distribuidos en varias plataformas en la nube. Databricks Unity Catalog simplifica el modelo de permisos y la gobernanza de los activos de datos, independientemente de su ubicación, al proporcionar una capa única y unificada para gestionar datos estructurados y no estructurados, modelos de aprendizaje automático y otros activos digitales en cualquier nube o plataforma.
Los habilitadores clave disponibles a través de Unity Catalog incluyen:
Este enfoque unificado de gobernanza acelera las iniciativas de datos e IA al tiempo que simplifica el cumplimiento normativo. Para un número creciente de organizaciones, Unity Catalog como componente central de la plataforma Databricks se ha convertido en la piedra angular de su estrategia de gobernanza de datos empresarial.
A medida que la industria de los medios y el entretenimiento continúa adoptando el poder de la IA Generativa, la gobernanza de datos será la clave para desbloquear todo su potencial. Al garantizar la calidad, la seguridad y la accesibilidad de los datos que alimentan estos modelos de IA, las organizaciones pueden impulsar la innovación, crear contenido más atractivo y ofrecer experiencias excepcionales a sus audiencias.
La gobernanza de datos no es solo un requisito de cumplimiento, es un imperativo estratégico. Al adoptar un enfoque de gobernanza centrado en los datos y liderado por el negocio, las organizaciones pueden desbloquear todo el potencial de sus iniciativas de datos e IA, ofreciendo experiencias personalizadas, impulsando la innovación y garantizando el éxito a largo plazo en el panorama mediático en constante cambio.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.