Capital Oneが語る：Databricksのマネージドディザスタリカバリーで実現するレイクハウスレジリエンス

Databricksは1年以上にわたり、Capital Oneと提携してlakehouse向けのマネージドディザスタリカバリサービスを構築してきました。ベンダーの障害発生時、この協力が功を奏し、Capital OneはDatabricksプラットフォーム上のインタラクティブなアナリティクスをセカンダリリージョンに迅速にフェイルオーバーさせることができました。

テクノロジーの停止は、「もし」ではなく「いつ」の問題です。Capital One と Databricks のパートナーシップは、堅牢なディザスタリカバリ戦略に導かれた強固なデータプラットフォームがあれば、大規模な障害が発生しても、ビジネスへの影響を最小限に抑えながら乗り切れることを示しています。

Databricks と提携してマルチリージョンの回復力を高めることで、リージョン規模の障害のような事態が発生しても、重要な分析ワークロードを維持できます。—Shehzad Mevawalla、Capital One、エンタープライズ データ テクノロジー担当エグゼクティブ バイス プレジデント

オープンデータレイクハウスのディザスタリカバリ

従来のバックアップツールはデータを保護するだけです。従来のデータウェアハウスは、独自のプロプライエタリ形式のデータしか保護できない場合があります。

対照的に、最新のオープンデータレイクハウスはそれ以上のものです。これには以下が含まれます。

• データは、顧客が管理するストレージに、オープンなデータ形式で保存されます
• ガバナンスの中心として機能するオープンデータカタログ
• 数千人にもなる可能性のあるユーザー全体にわたる、ノートブックやパイプラインなど顧客が定義したアセット

これらすべてのコンポーネントが障害に対する回復性を持ち、リージョンで障害が発生した場合でもシームレスに運用を再開できることが極めて重要です。

ディザスタリカバリに関して言えば、これには新たな一連の課題が伴います。たとえば、lakehouseのすべてのミッションクリティカルな要素を、低レイテンシーで、多種多様なアセットタイプにわたってセカンダリ クラウド リージョンに複製する機能などです。

Databricksマネージド ディザスタリカバリ: Lakehouse DRソリューション

DatabricksはCapital Oneとの協力により、これらの課題への対応を支援するマネージドディザスタリカバリを開発しました。内容は次のとおりです。

• マネージドレプリケーション - パフォーマンスの高いバックグラウンドコンピュートにより、重要なworkspaceアセットを、Databricks提供の標準機能を使ってセカンダリリージョンに迅速にレプリケートできます。
• お客様指定のフェイルオーバー - Databricks のマネージド ソリューションは、顧客が選択したタイミングでセカンダリ リージョンにフェイルオーバーできる柔軟性を提供します。これにより、顧客はフェイルオーバーとフェイルバックのプロセスを完全に制御できます。フェイルオーバーでは多くの場合、チーム、システム、ツール間の連携が必要となるため、この機能は不可欠です。
• 読み取り専用セカンダリ - Databricksは、セカンダリのフェイルオーバーリージョンがプライマリに昇格される時点まで、そのリージョンを読み取り専用にすることを簡単に強制できます。これにより、すべての書き込みが常にプライマリリージョンに対して行われることが保証され、セカンダリへの意図しない書き込みが防止されます。

学びと次のステップ

このコラボレーションの成功は、ミッションクリティカルなワークロードに関する、いくつかの重要な要素を浮き彫りにします。

• 回復性への継続的な取り組み - Capital One は定期的なフェイルオーバーとフェイルバックの演習に継続的に取り組むことで、障害発生時のフェイルオーバー対応が組織の体に染みつくようにしました。
• 面倒な作業はマネージド ソリューションにお任せ - Capital One は Databricks のマネージド DR ソリューションを活用して大規模なレプリケーションを実行できるため、チームはより影響力の大きい作業に集中できます。

Capital One は、ディザスタリカバリの適用範囲を拡大し、目標復旧時間 (RTO) のさらなる短縮を目指すことで、クラウドの回復力に関して常に限界に挑戦し続けています。

Databricks は、過去の障害から得た教訓を基に、マネージド ディザスタリカバリ ソリューションのさらなる改善を計画しています。詳細については、引き続きご注目ください。