La pila de datos moderna: Cómo la evolución de la arquitectura de datos condujo a la plataforma de inteligencia de datos

La pila de datos moderna está diseñada para abordar las dificultades con la recopilación, el almacenamiento y el análisis de datos a medida que el volumen y la complejidad de los datos continúan aumentando. Dado que el éxito empresarial depende cada vez más de los conocimientos basados en datos y la IA, la gestión eficaz y fiable de los datos es esencial.

Entonces, ¿qué es una pila de datos moderna y cómo están diseñadas para optimizar el uso de los datos? Sigue leyendo para comprender las diferencias entre las pilas de datos modernas y sus contrapartes heredadas, los beneficios que pueden aportar a las empresas de todas las industrias y las herramientas de pila de datos modernas que se necesitan para lograr el éxito con tus datos. Para saber cómo acelerar tus objetivos de datos e IA, lee nuestra nueva guía ejecutiva aquí.

¿Qué significa el término pila de datos moderna?

El término 'pila de datos' se refiere a una colección de diferentes tecnologías que procesan datos brutos. Una pila de datos moderna consta de herramientas que se utilizan para ingerir, organizar, almacenar y transformar datos.

Estas herramientas son esenciales para convertir los datos de 'datos no comestibles' (datos con los que no se puede trabajar) a 'datos comestibles' (datos con los que se puede trabajar). Cuanto más rápido se puedan acceder, preparar y analizar los datos, más rápido podrán las organizaciones utilizarlos para la toma de decisiones. Por lo tanto, una arquitectura de pila de datos moderna eficaz es crucial para cualquier organización que espere extraer valor de sus datos y reaccionar a los cambios más rápidamente.

Una pila de datos moderna tiene cuatro funciones principales:

1. Carga

Las tecnologías de carga son responsables de mover datos de un lugar a otro. Por ejemplo, los datos deben ingerirse en un pipeline de datos para poder transformarlos en un estado utilizable y analizarlos para obtener información valiosa.

2. Almacenamiento

Una vez que los datos han sido ingeridos a través de un pipeline de datos, deben almacenarse en algún lugar. Los almacenes de datos (data warehouses) y los lagos de datos (data lakes) son dos tecnologías de almacenamiento de datos comúnmente utilizadas, sin embargo, ambas tienen ciertos inconvenientes. Una diferencia es que los almacenes de datos son más adecuados para almacenar datos estructurados, mientras que los lagos de datos son mejores para datos no estructurados.

Las plataformas de data lakehouse proporcionan una solución moderna que es más capaz de manejar muchos tipos diferentes de datos estructurados y no estructurados.

Las soluciones de almacenamiento de datos basadas en la nube, en lugar de las opciones locales (on-premise), son esenciales para las pilas de datos modernas. Proporcionan fácil acceso a los datos en plataformas altamente escalables que pueden adaptarse fácilmente a las necesidades cambiantes.

3. Transformación

Las pilas de datos modernas también se utilizan para transformar datos. El proceso de transformación convierte los datos 'crudos' en datos 'refinados' que son adecuados para casos de uso de análisis. Muchas organizaciones utilizarán una plataforma de preparación de datos para la transformación de datos.

La transformación de datos puede implicar la conversión de datos de un formato, estructura o sistema de valores a otro. Es un proceso esencial para el análisis de datos y la toma de decisiones basada en datos.

Existe una gran variedad de transformaciones de datos que se pueden aplicar a los datos, incluyendo:

• Normalización: ajuste de valores en un conjunto de datos a una escala común
• Limpieza de datos: corrección o eliminación de registros inexactos o duplicados de un conjunto de datos para mejorar la precisión general de los datos
• Filtrado: eliminación de datos irrelevantes e innecesarios
• Agregación: resumen o agrupación de datos
• Fusión: unión de datos de diferentes fuentes para crear un único conjunto de datos

4. Análisis

Una vez que los datos han sido recopilados y preparados, están listos para ser utilizados para el análisis. Las herramientas de pila de datos moderna también pueden manejar este paso.

Los datos pueden ser analizados utilizando modelos de machine learning (ML) para identificar patrones y tendencias que pueden ser utilizados para la planificación y la toma de decisiones. Alternativamente, los datos procesados pueden servir como base para una variedad de aplicaciones.

Pilas de datos heredadas

La clave para comprender el impacto y la importancia de la pila de datos moderna es mirar hacia atrás a las pilas de datos heredadas. Las pilas de datos anteriores allanaron el camino para las herramientas y tecnologías utilizadas hoy en día, pero tenían limitaciones significativas que las pilas de datos modernas están diseñadas para superar.

Almacenes de datos empresariales

Los almacenes de datos empresariales (EDW) fueron, posiblemente, las primeras pilas de datos utilizadas comúnmente por las organizaciones para la gestión de datos.

Proporcionan un repositorio centralizado de datos acumulados de varias fuentes. Esto los hace útiles para organizaciones que utilizan plataformas de gestión de relaciones con clientes (CRM), bases de datos relacionales o sistemas similares que acumulan grandes cantidades de datos.

Un EDW típicamente se basa en un mecanismo ETL (extract, transform, load) para gestionar datos. En estos casos, los datos se verifican contra un esquema predefinido (formato de base de datos interno) al cargarse, lo que se conoce como el enfoque schema-on-write.

Si bien los EDW sin duda jugaron un papel en la optimización de la gestión y el análisis de datos, se han vuelto algo obsoletos con el creciente cambio hacia casos de uso de inteligencia artificial (IA) y ML.

Esto se debe en gran medida a que los almacenes de datos tienen dificultades para manejar las grandes cantidades de datos necesarias para estos casos de uso. A medida que crece la cantidad de datos almacenados en ellos, también aumentan los costos de los almacenes de datos, así como su ineficiencia.

Los almacenes de datos tampoco pueden manejar datos no estructurados, como audio, video, documentos de texto o publicaciones en redes sociales, que se han convertido en información vital para muchas empresas. Además, la estructura de los EDW generalmente está diseñada para almacenar datos específicos de tareas. Esto los hace inadecuados para tareas de ML y ciencia de datos, que dependen de la disponibilidad de todos los datos recopilados.

Lagos de datos

Los lagos de datos se desarrollaron en parte en respuesta a las deficiencias de los almacenes de datos para tareas de IA y ML. Estos repositorios están diseñados para almacenar enormes cantidades de datos brutos en sus formatos nativos. Dado que son capaces de manejar datos estructurados, no estructurados y semiestructurados, son más adecuados para casos de uso de ML y ciencia de datos que los EDW.

En contraste con los almacenes de datos, los lagos de datos no requieren transformación de datos antes de cargarlos, ya que no hay ningún esquema al que los datos deban ajustarse. El esquema se verifica en cambio cuando se consultan los datos, lo que se conoce como el enfoque schema-on-read.

Debido a esto, los lagos de datos se consideran típicamente más robustos y rentables que los almacenes de datos tradicionales. Sin embargo, esto no significa que no tengan otras limitaciones.

La inteligencia empresarial y la generación de informes pueden ser un desafío al usar lagos de datos, ya que requieren herramientas y técnicas adicionales para admitir consultas SQL.

Debido a que los lagos de datos almacenan grandes cantidades de datos en diferentes tipos y formatos, la mala calidad, confiabilidad e integridad de los datos también son frecuentemente un problema. Los datos almacenados en los lagos pueden terminar fácilmente desorganizados, lo que lleva a problemas adicionales con la precisión, seguridad y gobernanza de los datos.

¿Qué diferencia a la pila de datos moderna?

Dado que los lagos de datos y los almacenes de datos no cumplen en áreas clave, muchas organizaciones se encuentran utilizando ambos para evitar sus respectivas debilidades. Por ejemplo, una empresa podría usar un gran lago de datos para almacenar sus datos no estructurados y múltiples almacenes de datos de propósito específico para casos de uso concretos.

En la mayoría de los casos, esto resulta en silos de datos, mayores costos y complejidad, siendo la necesidad de mantener los datos consistentes entre los dos sistemas un desafío significativo. Para resolver este problema, se requiere una solución más unificada.

Entra la pila de datos moderna. Diseñada para resolver los desafíos de las pilas de datos heredadas, hay componentes específicos que todas las pilas de datos modernas deberían incluir.

Almacenamiento abierto y basado en la nube

Quizás la diferencia más significativa entre las pilas de datos modernas y las heredadas es que la pila de datos moderna está alojada en la nube. En lugar de depender de servidores físicos, las pilas de datos modernas dependen de la computación en la nube y a menudo se proporcionan bajo un modelo SaaS (software como servicio).

Esto significa que típicamente requieren menos configuración técnica por parte del usuario. En cambio, la seguridad, el mantenimiento y las actualizaciones son proporcionados por las empresas de pilas de datos modernas como parte de su servicio. Esto hace que las pilas de datos modernas sean más flexibles y eficientes que sus contrapartes heredadas.

También resulta en la promoción de la accesibilidad para el usuario final, lo que significa que un mayor número de profesionales de datos pueden acceder a los datos, independientemente de su ubicación.

Una solución basada en la nube también aumenta la escalabilidad, ya que se puede ajustar rápidamente para satisfacer las necesidades cambiantes de una organización sin el costoso y prolongado tiempo de inactividad asociado con la escalada de servidores locales.

Capacidad para diversas cargas de trabajo y enormes transacciones de datos

Además de admitir una amplia gama de casos de uso de datos, las herramientas modernas de la pila de datos permiten a las organizaciones procesar enormes transacciones de datos. Consisten en componentes que aprovechan los marcos de computación distribuida; por ejemplo, tecnologías como Hadoop o Spark permiten el procesamiento de datos en varios nodos o clústeres, lo que permite el procesamiento paralelo de grandes conjuntos de datos y cargas de trabajo complejas.

Esto significa que las organizaciones pueden realizar transacciones de datos complejas y abordar una variedad más amplia de cargas de trabajo, sin ejercer una presión adicional sobre su infraestructura. El uso de múltiples nodos y clústeres también permite la partición de datos. Esto ayuda a distribuir la carga de trabajo, lo que permite consultas y procesamiento más eficientes al dividir los datos en fragmentos más pequeños y manejables.

Técnicas como la compresión de datos, los formatos de almacenamiento columnar y la indexación también se utilizan en la pila de datos moderna para ayudar a optimizar la eficiencia del almacenamiento y el procesamiento. Estas técnicas reducen el espacio de almacenamiento físico requerido para grandes conjuntos de datos y aceleran los procesos de acceso y recuperación de datos.

Las pilas de datos modernas también utilizan pipelines de datos increíblemente eficientes, incluidos procesos optimizados de Extracción, Transformación y Carga (ETL) o Extracción, Carga y Transformación (ELT). Esto garantiza el movimiento fluido de datos desde el origen al destino, independientemente del volumen de datos que se esté manejando.

Soporte para inteligencia de negocios

Las pilas de datos modernas están bien equipadas para admitir una amplia gama de casos de uso de inteligencia de negocios, ayudando a las organizaciones a extraer el máximo valor posible de sus datos. Proporcionan herramientas sólidas que facilitan el análisis de datos eficiente, la visualización de datos y la toma de decisiones basada en datos.

Las empresas también pueden beneficiarse de una amplia variedad de herramientas de análisis e informes que se pueden integrar perfectamente con las pilas de datos modernas. Esto permite que las plataformas de BI aprovechen las consultas SQL, las herramientas de visualización de datos, los paneles y las funcionalidades de informes para analizar y presentar información de los datos. Incluso pueden integrar análisis predictivos o modelos de ML para permitir análisis y toma de decisiones más sofisticados.

Algunas arquitecturas de pilas de datos modernas incluso admiten el procesamiento de datos en tiempo real y la transmisión. Esto permite que las herramientas de BI proporcionen información actualizada y admitan la toma de decisiones en tiempo real, lo que aumenta la agilidad y la capacidad de respuesta de la organización que las utiliza.

Gobernanza de datos integrada

La gobernanza de datos integrada es un beneficio importante de las pilas tecnológicas de datos modernas. Se implementan varias herramientas, procesos y políticas que trabajan para garantizar la calidad, el cumplimiento, la seguridad y la accesibilidad de los datos en cada etapa del ciclo de vida de los datos. También incorporan herramientas sofisticadas de catalogación de datos que documentan y gestionan metadatos.

Tener información sobre las fuentes de datos, estructuras, linaje, propiedad y uso es vital para mantener un catálogo centralizado actualizado. Esto hace que los datos sean más descubribles y fáciles de entender, al tiempo que garantiza la transparencia y el cumplimiento.

En cuanto a la seguridad, se utilizan mecanismos de control de acceso basado en roles (RBAC) para administrar y controlar qué usuarios tienen acceso a diferentes conjuntos de datos. Estos mecanismos ayudan a aplicar las políticas de seguridad de la organización, asegurando que solo el personal autorizado pueda acceder a datos confidenciales.

Esto es especialmente importante para las empresas que operan en industrias como la banca y la atención médica, que manejan muchos datos confidenciales. Las pilas de datos modernas también pueden ayudar con el cumplimiento de las regulaciones de datos como GDPR y HIPAA. Tienen funciones que ayudan en el cumplimiento al permitir el cifrado y la auditoría de datos, así como al garantizar el cumplimiento de las regulaciones de privacidad y seguridad.

Muchas pilas de datos modernas también incorporan capacidades de monitoreo en tiempo real que ayudan a identificar posibles problemas de gobernanza de datos. Los mecanismos de alerta pueden notificar a los administradores sobre actividades sospechosas o desviaciones de los estándares de gobernanza establecidos.

¿Cuáles son los beneficios de usar herramientas modernas de pila de datos?

En general, los beneficios de la pila de datos moderna se pueden organizar en las siguientes cuatro categorías.

Flexibilidad

En primer lugar, una pila de datos moderna proporciona mayores niveles de flexibilidad. Las diversas herramientas se pueden utilizar para satisfacer las necesidades específicas del usuario, mientras que los servicios disponibles se pueden agregar o eliminar según sea necesario. Esta modularidad permite construir pilas capa por capa para crear la pila de datos moderna exacta que requiere una organización.

Además, la compatibilidad con una variedad de formatos de datos, bases de datos y servicios de terceros garantiza la interoperabilidad y la flexibilidad al incorporar nuevas tecnologías. Las pilas de datos modernas a menudo aprovechan las herramientas y los marcos de código abierto, lo que brinda a las organizaciones una mayor flexibilidad a través de la personalización y las mejoras impulsadas por la comunidad.

También ofrecen opciones tanto para el procesamiento en tiempo real como por lotes, lo que proporciona una mayor flexibilidad para las organizaciones que manejan diferentes tipos de cargas de trabajo al permitirles adaptar su procesamiento de datos a las diversas necesidades del negocio.

Eficiencia

Dado que la pila de datos moderna es una solución basada en la nube, la velocidad a la que se pueden procesar los datos ha aumentado exponencialmente. Grandes volúmenes de datos se pueden procesar en minutos, en comparación con las horas en una pila de datos heredada.

Las pilas de datos modernas a menudo incorporan herramientas automatizadas de procesamiento y transformación de datos. Estas herramientas agilizan tareas como la limpieza, normalización e integración de datos, lo que reduce la necesidad de intervención manual. Esto no solo hace que el procesamiento de datos sea más eficiente, sino que también ayuda a mejorar la precisión de los datos.

La integración con herramientas de visualización e informes de datos acelera el proceso de traducción de datos en información significativa. Muchas de estas herramientas también ofrecen el beneficio adicional de interfaces intuitivas y paneles personalizables, que permiten una comprensión más rápida de los patrones y tendencias de los datos.

Costo

Mantener grandes almacenes de datos puede ser costoso, pero las pilas de datos modernas pueden ayudar a reducir los costos operativos en todas las organizaciones. Al estar basadas en la nube, no es necesario invertir en hardware o infraestructura complicada. Además de reducir la cantidad de inversión inicial requerida, esto también reduce los costos de mantenimiento y operación durante la vida útil de la pila de datos.

Muchas empresas de SaaS de pilas de datos modernas ofrecen precios basados en el consumo, lo que permite a las organizaciones pagar solo por los servicios que utilizan. Los servicios que se ofrecen con un modelo de pago por uso solo deben pagarse cuando se utilizan activamente, lo que minimiza los costos durante los períodos de uso bajo o nulo.

Las pilas de datos modernas también optimizan continuamente la utilización de recursos al automatizar el procesamiento de datos, minimizar el tiempo de inactividad y mejorar la eficiencia general de los pipelines de datos. Todo esto suma recursos que se utilizan de manera más efectiva y eficiente, lo que reduce el tiempo de inactividad y sus costos asociados.

Fuera de la pila en sí, las capacidades avanzadas de análisis y ML disponibles pueden ayudar a los usuarios a identificar oportunidades de ahorro de costos. Al pronosticar la demanda, optimizar los recursos e identificar proactivamente las oportunidades de ahorro de costos, una organización puede tomar el control total de sus presupuestos.

Una pila de datos moderna puede incluso desempeñar un papel en la minimización del riesgo y los costos asociados con las violaciones de datos. Al implementar sólidas medidas de gobernanza de datos, se reducen los riesgos de violaciones de datos, al igual que las instancias de incumplimiento normativo. Esto ayuda a las organizaciones a evitar sanciones o problemas legales asociados con el incumplimiento, lo que contribuye aún más al ahorro de costos.

Cultura de datos

Cultura de datos es un término que se refiere a los comportamientos, actitudes y prácticas dentro de una organización en lo que respecta a sus datos. Puede abarcar desde las creencias y hábitos que rodean la toma de decisiones basada en datos hasta el valor que se otorga a los datos. También cubre la integración general de los datos en las operaciones diarias y los procesos de toma de decisiones de una organización.

Una pila de datos moderna puede ayudar a revolucionar la cultura de datos dentro de una organización.

Para empezar, las herramientas modernas de pila de datos están diseñadas pensando en la usabilidad. Esto hace que los datos sean más accesibles para los empleados de todas las capacidades técnicas. La flexibilidad que se ofrece incluso significa que los usuarios no están restringidos a usar una única herramienta en particular, sino que pueden elegir la herramienta que mejor se adapte a sus necesidades y nivel de experiencia.

Mientras tanto, las sólidas medidas de gobernanza de datos incluidas en la pila de datos moderna trabajan para generar confianza en la precisión de los datos. Al proporcionar datos confiables y bien gobernados, estas pilas fomentan el uso de datos en los procesos de toma de decisiones. Esto crea una cultura de confianza en torno a los datos de una organización.

Una vez que se establece esta confianza, la flexibilidad y escalabilidad que se ofrecen pueden comenzar a brillar, ofreciendo a los usuarios formas de experimentar con nuevas fuentes de datos, herramientas analíticas y metodologías. Esto ayuda a construir una cultura de innovación y exploración.

Las pilas de datos modernas incluso pueden ayudar a fomentar una mejor comunicación y colaboración entre los equipos. Los catálogos de datos integrados, la gestión de metadatos y las funciones colaborativas incluidas ayudan con esto. Cada parte interesada puede tener una comprensión compartida de los activos de datos, alineando sus esfuerzos hacia objetivos comerciales comunes relacionados con los datos.

Usos exitosos de pilas de datos modernas

Organizaciones de una amplia variedad de industrias han utilizado pilas de datos modernas para revolucionar su enfoque de los datos. Aquí hay solo algunos ejemplos:

AT&T

AT&T es uno de los principales proveedores de telecomunicaciones que operan en los EE. UU. hoy en día. En el pasado, dependían de una arquitectura de datos tradicional en las instalaciones. Sin embargo, a medida que los tipos y la cantidad de datos que manejaban comenzaron a multiplicarse, pronto se hizo evidente que necesitaban una mejor solución y, por lo tanto, migraron su arquitectura heredada a una pila de datos moderna proporcionada por Databricks.

Esto les ayudó a lograr los conocimientos en tiempo real y la automatización necesarios para optimizar la asignación de sus técnicos. Ahora, pueden hacer coincidir las habilidades de resolución de problemas de sus técnicos con el problema del cliente que necesita resolverse, así como con la ubicación de ese cliente. Estos son tres puntos de datos que simplemente no se podían unificar con su sistema heredado.

Este nuevo enfoque automatizado para la asignación de técnicos ha ayudado a AT&T a brindar una excelente experiencia de servicio al cliente, al tiempo que reduce los costos operativos al disminuir la cantidad de intentos necesarios para resolver un problema.

HSBC

HSBC es uno de los bancos internacionales más grandes, que atiende a más de 39 millones de clientes en todo el mundo. Con una base de clientes tan grande, las limitaciones de escalabilidad eran inevitables. O lo eran, hasta que HSBC adoptó una pila de datos moderna.

Ahora, pueden escalar el análisis de datos y el ML según sea necesario, lo que les da el poder de encabezar una variedad de casos de uso centrados en el cliente, incluida la personalización, las recomendaciones, la ciencia de redes y la detección de fraudes. Y todo esto a una velocidad que satisface sus necesidades comerciales.

"Hemos visto mejoras importantes en la velocidad con la que tenemos datos disponibles para el análisis. Tenemos una serie de trabajos que solían llevar 6 horas y ahora solo llevan 6 segundos". — Alessio Basso, Arquitecto Jefe, HSBC

USPS

Una pila de datos moderna ha permitido a USPS atender eficientemente a los clientes en todo EE. UU. El cambio a una arquitectura de lakehouse basada en la nube les permite responder rápidamente a nuevos desafíos de datos y ofrece nuevas oportunidades de innovación.

Además, USPS OIG ahora está en mejor posición para investigar, auditar e investigar las operaciones y programas postales. Esto les ayuda en su lucha contra el fraude, el desperdicio y el abuso, garantizando la eficiencia y la integridad del servicio postal durante muchos años.

Adopte una arquitectura de pila de datos moderna con la Plataforma de Inteligencia de Datos de Databricks

Una arquitectura de pila de datos moderna es el siguiente paso en la evolución de la pila de datos. La escalabilidad, la eficiencia y la gobernanza mejorada que ofrece permiten a las empresas de todas las industrias realizar el valor total de sus datos de manera eficiente y segura.

La Plataforma de Inteligencia de Datos de Databricks está construida sobre una arquitectura de lakehouse que combina los mejores aspectos de los data lakes y los data warehouses para proporcionar una pila de datos moderna que le ayudará a reducir costos, aumentar la productividad y entregar sus iniciativas de datos e IA más rápido.

Databricks ha centrado sus esfuerzos de ingeniería en incorporar una amplia gama de mejoras de software y hardware líderes en la industria para implementar la primera plataforma de inteligencia de datos.

Nuestro enfoque capitaliza los avances de computación del framework Apache Spark™ y las últimas tecnologías de red, almacenamiento y CPU para proporcionar el rendimiento que los clientes necesitan para simplificar su arquitectura.

Estas innovaciones se combinan para proporcionar una arquitectura única que puede almacenar y procesar todos los conjuntos de datos dentro de una organización y admitir una amplia gama de análisis para obtener información vital.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original