It's Time to Re-evaluate Your Relationship with Hadoop（Hadoop を見直す）

昨年、企業がリモートでの分散型ワークフォースへの適応を余儀なくされたことで、クラウド導入は+14%という前例のないペースで加速し、2020年のパンデミック前の予測を2%（130億ドル）上回る結果となりました。今後数年で6000億ドル以上のオンプレミスからクラウドへの移行が見込まれています。このクラウドへの移行は、イノベーションを促進し、企業のデジタルトランスフォーメーション戦略を実現するための、新世代のデータおよびアナリティクスプラットフォームの重要性を高めています。しかし、多くの組織は、既存のHadoop 環境の複雑さ、拡張性のないインフラストラクチャ、および甚大なメンテナンスのオーバーヘッドに今もなお苦しんでおり、最終的にはデータの価値を犠牲にし、ひいては競争上の優位性を危険にさらしています。この課題に取り組み、データに潜む（時には隠れた）さらなる機会を解き放つため、企業はDatabricks Lakehouse Platformのような、オープンでシンプル、かつ協調的なクラウドベースのデータおよびアナリティクスプラットフォームに注目しています。このブログでは、組織が最新のクラウドベースのソリューションを検討するきっかけとなる課題と、データドリブンのイノベーションの次の波を巻き起こす上でレイクハウスアーキテクチャが果たす役割について学びます。

Hadoop の果たされなかった約束

Hadoop分散ファイルシステム（HDFS）は、登場した当時は画期的なテクノロジーであり、データ史にその名を刻む象徴であり続けるでしょう。その出現により、組織はリレーショナルデータベースの制約に縛られることがなくなり、現代のビッグデータストレージ、そして最終的にはクラウドデータレイクの誕生につながりました。2015年に至るまで、その栄光と華々しさにもかかわらず、Hadoopはあらゆるデータタイプの進化する可能性を、特にエンタープライズ規模でサポートすることに苦戦しました。最終的に、データランドスケープとそれに伴うビジネスニーズが進化するにつれて、Hadoopはその約束を果たし続けることに苦戦しました。その結果、企業はクラウドベースの代替案を模索し始めており、Hadoopからクラウドへの移行率は増加の一途をたどっています。

チームがHadoopから移行する理由はさまざまで、多くの場合、「プッシュ」要因と「プル」要因の組み合わせです。既存のHadoopシステムの制限や、高額なライセンスおよび管理コストが、チームに代替案の検討を促しています。また、最新のクラウドデータアーキテクチャがもたらす新たな可能性にも引きつけられています。アーキテクチャの要件は組織によって異なりますが、お客様がさよならを告げるときが来たと認識するに至る、いくつかの共通要因が見られます。これらには以下が含まれます。

• ハードウェア容量の無駄：オンプレミス環境では、ピーク時のニーズに合わせてスケールアップできるよう、過剰な容量を持つことが前提となりますが、結果としてその容量の大部分はアイドル状態のまま、運用コストとメンテナンスコストを増やし続けます。
• スケーリングコストの急増: オンプレミスの Hadoop 環境ではストレージとコンピュートを分離できないため、データセットの増大に伴ってコストも増加します。それに、COVID-19のパンデミックによる急速なデジタル化と世界的な成長率が加わります。調査によると、世界で作成、キャプチャ、コピー、消費されるデータの総量は、2020年から2024年にかけて 152.5% 増加し、149 ゼタバイトに達すると予測されています。データが爆発的に増加する世界では、抑制の効かないコストが急速に膨れ上がる可能性があります。
• DevOps の負担: 当社の顧客の経験に基づくと、100ノードごとに4～8人のフルタイム従業員が必要になると想定できます。
• 電力コストの増加: 消費電力と冷却に基づき、サーバー1台あたり年間最大800ドルの支払いが見込まれます。100 ノードの Hadoop クラスタがあると想定すると、年間 8 万ドルになります。
• 新規および交換用ハードウェアのコスト: これは TCO の約 20% を占め、Hadoopクラスターの管理コストに相当します。
• ソフトウェアのバージョンアップグレード：多くの場合、サポート契約を維持するためにこれらのアップグレードは必須となります。そうしたプロジェクトは一度に数ヶ月かかり、新しい機能はほとんど提供されず、データチームの貴重なリソースを消費します。

上記のあらゆる課題に加えて、Hadoop の長期的な存続可能性について真剣な懸念があります。2019年、Hadoop分野で大規模な崩壊が起こりました。Google では、 MapReduce に関するリサーチペーパーを2004 年に発表して以来、Apache Hadoop の開発を支えてきましたが、Google テクニカルインフラストラクチャ担当 SVP のウルス・ヘルツル（Urs Hölzle）氏がツイート で、MapReduce の使用を全面的に中止したことを投稿しました。また、Hadoop の世界では、極めて注目度の高い合併や買収が行われました。Hadoop の大手プロバイダは、 Hadoop を技術ではなく哲学とみなすようになり、2020 年には Hadoop 中心の製品群からの転換を図っています。そして、2021 年 4 月に ASF が、Hadoop エコシステムの 10 のプロジェクトの終了を発表しました。増加する懸念事項と加速するデジタル化の必要性により、多くの企業が Hadoop の利用を見直しています。

レイクハウスアーキテクチャへの移行

lakehouseアーキテクチャは、データドリブンな組織にとって理想的なデータアーキテクチャです。データウェアハウスとデータレイクの利点を組み合わせ、あらゆるデータワークロードに対応する単一の高性能ソリューションを提供します。Lakehouseアーキテクチャは、BIへのストリーミングデータ分析、データサイエンス、AIなど、さまざまなユースケースをサポートします。顧客はなぜDatabricks Lakehouse Platformを支持しているのでしょうか？

• 簡単です。データ、分析、AI を 1 つのプラットフォームで一元化
• オープンです。 オープンな標準とフォーマットでデータエコシステムを統一します。
• コラボレーションが可能です。データと AI のワークフロー全般でのコラボレーションを促進

レイクハウスアーキテクチャは、企業のクラウド導入を後押しする従来の Hadoop 環境に比べて、大きなメリットをもたらします。これには、クラウド上で Hadoop を使用してみたものの、期待または希望どおりの結果が得られていない顧客も含まれます。ScribdのエンジニアリングディレクターであるR. Tyler Croy氏は、次のように説明しています。「Databricksは、従来のApache Spark™ワークロードのほとんどで30%～50%の最適化が可能だと主張していました。好奇心から、Databricksの価格とSparkジョブの最適化の可能性を考慮して、コストモデルをリファクタリングしました。数値を微調整したところ、17%の最適化率でもDatabricksはAmazon Web Services（AWS）のインフラコストを大幅に削減し、Databricksプラットフォーム自体のコストを賄えることがわかりました。最初の評価を終えた時点で、私はDatabricksが提供する機能と開発者のベロシティの向上にすでに納得していました。モデルで数値を計算してみると、Databricksを導入しない手はないとわかったのです！」

Scribdだけではありません。HadoopからDatabricks Lakehouse Platformに移行したその他の顧客には、以下が含まれます。

• H&M は、70 を超える市場に 5,000 以上の店舗を展開し、毎日数百万人の顧客から得られる膨大な量のデータを処理しています。同社の Hadoop ベースのアーキテクチャは、データに関する課題を生み出しました。このアーキテクチャは、拡張にリソースとコストがかかり、データ セキュリティの問題も発生させました。また、サイロ化された様々なデータソースを活用したデータサイエンスの取り組みをサポートするための運用拡張も難しく、DevOps の大幅な遅延により市場投入までの時間も長引いていました。構想から実用化までに丸 1 年を要していた。Databricks を活用することで、H&M は運用コストを 70% 削減し、チーム間のコラボレーションを改善し、知見を得るまでの時間を短縮してビジネスインパクトを高めるなど、業務効率を向上させています。
• Viacom18 は、番組編成を最適化するために、テラバイト単位の日々の視聴者データを処理する必要があります。同社のオンプレミス Hadoop データレイクでは、90日間のローリングデータを SLA 内で処理できず、ビジネスニーズに応える能力が制限されていました。Databricks の導入により、データ量は増加したものの、クエリ時間の短縮と DevOps の手間削減が実現し、コストが大幅に削減されました。また、Viacom18 は、ETL、アナリティクス、機械学習 を大規模にサポートするフルマネージドプラットフォームにより、チームの生産性を 26% 向上させました。
• Reckitt Benckiser Group（RB）は、50万店舗にわたる需要予測の複雑さに苦慮していました。同社は、250のパイプラインで毎日2TBを超えるデータを処理しています。従来のHadoopインフラストラクチャは、複雑で扱いにくく、拡張にコストがかかる上、パフォーマンスにも問題を抱えていました。Databricksを導入することで、RBはビジネスボリュームをサポートするキャパシティを10倍に増やし、データを80TBから2TBへと98%圧縮して運用コストを削減し、24時間365日稼働のジョブにおけるデータパイプラインのパフォーマンスを2倍に高速化しました。

Hadoopは、クラウド環境で実行されるようには構築されていませんでした。クラウドベースのHadoopサービスは、オンプレミスのものと比較して段階的な改善を遂げているものの、lakehouseアーキテクチャと比べるとどちらも依然として遅れを取っています。どちらの Hadoop インスタンスも、パフォーマンスと生産性が低く、コストが高いうえ、より高度なデータユースケースに大規模で対応できません。

データ分析、AI主導の成長の将来性を確保

クラウドへの移行は経営判断です。そのため企業は、現行システムの提供実態を直視し、短期的および長期的な目標を達成するために何をすべきかを評価する必要に迫られます。AIへの投資の勢いが増す中、データ、アナリティクス、テクノロジー分野のリーダーは、「これで目標を達成できるのか」という問いを念頭に置き、既存のHadoopアーキテクチャの先を考えるという重要な役割を果たす必要があります。

目標が明確になることで、テクノロジーマッピング、クラウドリソースの利用率とコストパフォーマンスの評価、エラーとリスクを最小限に抑える移行プロジェクトの構築といった、重要な技術的詳細が明らかになります。しかし、最も重要なことは、Hadoop との関係を見直す時期が来ているという、データドリブンな確信を持つことです。Hadoop からの移行が、お客様のデータユースケース全体でビジネス成果をいかに加速できるか、詳細をご覧ください。

1. ソース: ガートナー・マーケット・データブック、ゴールドマン・サックス・グローバル・インベストメント・リサーチ

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事