Steigerung der betrieblichen Effizienz senkt die Gesamtkosten
"Die Umstellung von Hadoop zu Databricks hat einen erheblichen Geschäftswert geschaffen. Wir sind in der Lage, mehr Daten schneller zu verarbeiten, zuverlässige ETL-Pipelines aufzubauen und es unseren Analysten zu erleichtern, Modelle zu erstellen, die das von unseren Kunden gewünschte Zuschauererlebnis bieten.“
Viacom18, ein Joint Venture zwischen Network18 und ViacomCBS, konzentriert sich darauf, seinen Zuschauern hochgradig personalisierte Inhalte zu bieten. Der Kern dieser Strategie erfordert die Implementierung einer Unternehmensdatenarchitektur, die den Aufbau leistungsfähiger Kunden-Analytics für tägliche Zuschauerdaten ermöglicht. Bei Millionen Nutzern in ganz Indien war die schiere Datenmenge jedoch schwer zu bewältigen: Das Unternehmen stand vor der Aufgabe, über 45.000 Stunden täglicher Inhalte auf VOOT (Plattform für On-Demand-Videoabonnements von Viacom18) aufzunehmen und zu verarbeiten, wodurch leicht 700 GB bis zu 1 TB Daten pro Tag generiert wurden.
„Der Inhalt steht im Mittelpunkt unserer Arbeit“, erklärte Parijat Dey, Vice President of Digital Transformation and Technology bei Viacom18. „Unser Zuschauer auf der ganzen Welt erhalten von uns personalisierte Empfehlungen, die auf ihren bisher angesehenen Inhalten und persönlichen Präferenzen basieren. Auf diese Weise versuchen wir, die Zuschauerzahl und die Kundenbindung zu erhöhen.“
Der Data Lake von Viacom18, der vor Ort Hadoop für den Betrieb nutzte, konnte 90 Tage rollierender Daten nicht innerhalb der vom Management definierten SLAs optimal verarbeiten. Dadurch waren die Fähigkeiten des Unternehmens eingeschränkt, seine Analytics-Anforderungen zu erfüllen, was sich nicht nur auf das Kundenerlebnis, sondern auch auf die Gesamtkosten auswirkte.
Um diese Herausforderung zu bewältigen, benötigte Viacom18 ein modernes Data Warehouse mit der Möglichkeit, Datentrends für einen längeren Zeitraum anstatt für tägliche Snapshots zu analysieren. Das Unternehmen brauchte außerdem eine Plattform, die die Infrastruktur vereinfachte, damit das Team Cluster problemlos mit Funktionen wie der automatischen Skalierung bereitstellen kann, um die Rechenkosten zu senken.
Für die erforderliche Rechenleistung und Data-Science-Funktionen ging Viacom18 eine Partnerschaft mit Celebal Technologies ein, einem führenden Beratungsunternehmen für Salesforce, Data Analytics und Big Data mit Sitz in Indien. Das Team von Celebal nutzte Azure Databricks, um Viacom18 mit einer einheitlichen Datenanalyselattform auszustatten, die seine Data-Warehousing-Funktionen modernisiert und die Datenverarbeitung im großen Maßstab beschleunigt.
Die Fähigkeit, Daten in Delta Lake zwischenzuspeichern, führte zur dringend benötigten Beschleunigung von Abfragen. Darüber hinaus hat die Cluster-Verwaltung mit automatischer Skalierung und der Entkopplung von Speicher und Datenverarbeitung die Infrastrukturverwaltung von Viacom18 vereinfacht und die Betriebskosten optimiert. „Dank Delta Lake konnten wir die Verwaltung unserer Datenpipelines verschlanken“, erklärte Dey. „Das hat zur Senkung der Betriebskosten beigetragen und gleichzeitig die Time-to-Insight für nachgelagerte Analytics und Data Science beschleunigt.“
Die Notebooks-Funktion war ein unerwarteter Bonus für Viacom18, da ein gemeinsamer Arbeitsbereich Datenteams eine Möglichkeit bot, zusammenzuarbeiten und die Produktivität bei allem, von Modellschulungen bis hin zu Ad-hoc-Analysen, Dashboards und Berichten, über PowerBI zu steigern.
Celebal Technologies und Databricks haben es Viacom18 ermöglicht, innovative Kundenlösungen und Einblicke mit verbesserter teamübergreifender Zusammenarbeit und Produktivität zu liefern. Mit Databricks kann das Datenteam von Viacom18 nun nahtlos seine Daten abrufen und seine Kunden besser betreuen.
„Mit Databricks können die Data Engineers von Viacom18 nun große Datenmengen aufteilen und den Analysten und Data Scientists Einblicke in Kundenverhalten und -interaktionen bieten“, sagte Dey.
Zusätzlich zu Leistungssteigerungen haben die kürzeren Abfragezeiten auch die Gesamtbetriebskosten gesenkt, selbst wenn die Datenmenge täglich steigt. „Azure Databricks hat die Prozesse erheblich rationalisiert und die Produktivität um geschätzte 26 % verbessert“, so Dey abschließend.
Insgesamt sieht Dey die Migration von Hadoop zu Databricks als einen beträchtlichen Geschäftswert: Reduzierung der Ausfallkosten, Beschleunigung der Verarbeitungsgeschwindigkeiten in großem Umfang und Vereinfachung der Ad-hoc-Analysen. Dies vereinfacht die Untersuchung von Daten sowie Innovationen für mehr Kundenzufriedenheit.