Descripciones del producto:
Como empresa global de tecnología y medios que conecta a millones de clientes con experiencias personalizadas, Comcast enfrentó desafíos con datos masivos, pipelines de datos frágiles y una colaboración deficiente en ciencia de datos. Con Databricks, incluidos Delta Lake y MLflow, pueden crear pipelines de datos de alto rendimiento para petabytes de datos y gestionar fácilmente el ciclo de vida de cientos de modelos para crear una experiencia de espectador altamente innovadora, única y galardonada mediante el reconocimiento de voz y el aprendizaje automático.
La infraestructura no puede soportar las necesidades de datos y ML
Responder al instante a la solicitud de voz de un cliente para un programa en particular, al mismo tiempo que se convierten miles de millones de interacciones individuales en insights accionables, supuso una presión significativa para la infraestructura de TI y los equipos de analítica y ciencia de datos de Comcast. Para complicar más las cosas, Comcast necesitaba desplegar modelos en una gama inconexa y dispar de entornos: en la nube, en las instalaciones e incluso directamente en dispositivos en algunos casos.
Datos masivos: miles de millones de eventos generados por nuestro sistema de entretenimiento y más de 20 millones de controles remotos de voz, lo que resulta en petabytes de datos que deben ser agrupados por sesiones para su análisis.
Pipelines frágiles: pipelines de datos complicados que fallaban frecuentemente y eran difíciles de recuperar. Los archivos pequeños eran difíciles de gestionar, lo que ralentizaba la ingesta de datos para el aprendizaje automático posterior.
Poca colaboración: los científicos de datos dispersos globalmente que trabajan en diferentes lenguajes de secuencias de comandos tuvieron dificultades para compartir y reutilizar código.
Gestionar la administración de modelos de ML: desarrollar, entrenar e implementar cientos de modelos era un proceso sumamente manual, lento y difícil de replicar, lo que hacía imposible escalar.
Fricción entre el desarrollo y el despliegue: los equipos de desarrollo querían usar las últimas herramientas y modelos, mientras que los equipos de operaciones querían desplegar en una infraestructura comprobada.
Infraestructura automatizada, canalizaciones de datos más rápidas con Delta Lake
Comcast se dio cuenta de que necesitaba modernizar todo su enfoque con respecto a la analítica, desde la ingesta de datos hasta la implementación de modelos de aprendizaje automático que ofrecen nuevas funciones que deleitan a sus clientes. Hoy en día, Databricks Data Intelligence Platform permite a Comcast crear conjuntos de datos ricos y optimizar el aprendizaje automático a gran escala, agilizar los flujos de trabajo entre equipos, fomentar la colaboración, reducir la complejidad de la infraestructura y ofrecer experiencias superiores a los clientes.
Administración simplificada de infraestructura: reducción de costos operativos mediante la gestión automatizada de clústeres y características de gestión de costos como el escalado automático y las instancias puntuales.
Pipelines de alto rendimiento con Delta Lake: Delta Lake se usa para la ingesta, el enriquecimiento de datos y el procesamiento inicial de la telemetría sin procesar proveniente de aplicaciones y dispositivos de video y voz.
Gestión confiable de archivos pequeños: Delta Lake les permitió optimizar los archivos para una ingesta rápida y confiable a gran escala.
Espacios de trabajo colaborativos: los cuadernos interactivos mejoran la colaboración entre equipos y la creatividad en ciencia de datos, lo que permite a Comcast acelerar considerablemente la creación de prototipos de modelos para una iteración más rápida.
Simplificación del ciclo de vida de ML: MLflow gestionado simplifica el ciclo de vida del aprendizaje automático y el servicio de modelos a través del entorno de Kubeflow, ya que les permite realizar un seguimiento y gestionar cientos de modelos con facilidad.
ETL confiable a escala: Delta Lake proporciona pipelines de analítica eficientes a escala que pueden unir de manera confiable datos históricos y de transmisión para obtener insights más completos.
Comcast también proporciona datos a los analistas que utilizan Tableau, ofreciendo un conjunto más amplio de datos para el análisis de clientes y a alta velocidad.
Detrás de la historia: El efecto del equipo de datos
Ofrecer experiencias personalizadas con ML
En la industria del entretenimiento intensamente competitiva, no hay tiempo para pulsar el botón de pausa. Comcast, que cuenta con un enfoque unificado de analítica, ahora puede avanzar rápidamente hacia el futuro del entretenimiento impulsado por IA, y mantener a los espectadores comprometidos y encantados con experiencias de cliente que superan a la competencia.
Experiencia de espectador ganadora del Emmy: Databricks ayuda a Comcast a crear una experiencia de visualización altamente innovadora y galardonada, con comandos de voz inteligentes que impulsan la participación.
Reducción de costos de cómputo en 10 veces: Delta Lake permitió a Comcast optimizar la ingesta de datos, al reemplazar 640 máquinas por 64, al tiempo que mejora el rendimiento. Los equipos pueden dedicar más tiempo a la analítica y menos a la gestión de la infraestructura.
Menos recursos de DevOps: se redujo el número de empleados de tiempo completo de DevOps necesarios para incorporar 200 usuarios de 5 a 0,5.
Mayor productividad de la ciencia de datos: fomentó la colaboración entre científicos de datos globales al habilitar diferentes lenguajes de programación a través de un único espacio de trabajo interactivo. Además, Delta Lake permitió al equipo de datos usar datos en cualquier punto dentro del pipeline de datos, lo que les permite actuar más rápido en la creación y el entrenamiento de nuevos modelos.
Implementación más rápida de modelos: se redujeron los tiempos de implementación de semanas a minutos, ya que los equipos de operaciones implementaron modelos en plataformas dispares.