パナソニックUSの中央データインフラストラクチャチームには、野心的な使命が課せられている。それは、営業、サプライチェーン、人事など、複数の事業部門のデータ基盤として機能することである。レガシーなETLパイプラインや断片化されたデータウェアハウスが日々のレポートを遅らせ、時には数時間に及ぶ取り込みウィンドウや予測不能な故障が発生する中、チームはゼロからの近代化を戦略的に決断しました。DatabricksプラットフォームとLakeflowを標準化することで、脆弱で分断されたスタックを信頼性の高い企業全体のデータ基盤へと変革しました。かつては数時間かかったプロセスが数分で完了し、アナリストは以前は手の届かなかったデータに直接アクセスできるようになり、チームは次のフロンティアであるAIに向けてすでに構築を進めています。
断片化した従来のパイプラインが、部門横断的な事業運営の妨げとなっていました
パナソニックの中央データおよびITインフラチームは、複数の社内カンパニーや事業部門の包括的なデータ戦略を推進しています。日常業務、販売予測、サプライチェーン管理をサポートするため、ビジネスリーダーはSAP S/4HANA、Workday、グローバルPOSシステムなどのエンタープライズシステムに大きく依存しています。しかし、パナソニックのレガシーなデータスタックは、分断されたETLツールと複雑なデータウェアハウスで構成されており、このデータの量と複雑さの処理に苦慮し、深刻なパフォーマンスと回復性の問題につながっていました。
最も重大なボトルネックは、SAPデータ取り込みでした。レガシーなチェンジデータキャプチャ（CDC）プロセスの限界を認識したエンジニアリングチームは、より信頼性の高いアプローチを模索しましたが、既存のアーキテクチャでは、毎日100を超えるテーブルで完全なデータ更新を実行せざるを得ませんでした。数億行もの大規模なトランザクションテーブルは、複雑なパーティションを必要とし、レガシーパイプラインの障害を頻繁に引き起こしていました。このような重い負荷は完了までに5～6時間かかり、年に10回ほど故障しました。その修復には、IT部門が主導するチーム横断的なトラブルシューティングに数時間から丸一日を要しました。早朝の報告締め切りが厳しい社内事業部門の1つにとって、こうしたシステム停止は大きな損失を伴う遅延を引き起こしました。経営陣は、重要なビジネス上の意思決定に必要な日々の売上、在庫、物流レポートを入手できないことが多く、日常業務に支障をきたしていました。さらに、貴重なデータはレガシーなデータベースサイロに閉じ込められたままであり、正確な予測のために生データへのアクセスを必要とする下流のビジネスインテリジェンス（BI）アナリストにとって、可視性の障壁となっていました。
Lakeflow Connectによるエンタープライズインジェスメントの標準化
回復力のある一元的なデータバックボーンを確立するため、パナソニックはDatabricksプラットフォームに移行し、Lakeflow Connectを積極的に活用して企業内の主要なデータソース全体のデータ取り込みを標準化しました。
最も緊急の優先事項はSAP S/4HANAでした。SAP Datasphereとの統合によりAzure Data Lake Storage（ADLS）にファイルを格納することで、パナソニックはAuto Loader（Lakeflow Connectの一部）をデプロイし、最も障害が発生しやすかったパイプラインの1つで増分取り込みをシームレスに処理しました。この最新のアーキテクチャは、オーバーヘッドを大幅に削減する、安定した自動化アーキテクチャを提供しました。結果はすぐに現れました。
そこからチームは、同じアプローチを他の重要なシステムにも拡大していった。これまで追跡が困難だった人事および従業員データは、Workdayコネクタによって構造化されたリレーショナルテーブルに取り込まれ、管理者の異動や従業員の再雇用といった経時的な変化を記録できるようになりました。さらに、SFTPコネクターはパナソニックの日本本社からの販売時点数、出荷メトリクス、製造記録など、グローバルなサプライチェーンデータを継続的に取得します。この時間に敏感なデータはCSVやExcelファイルでフォーマットされ、ほぼリアルタイムのサプライチェーン分析に利用可能です。
構造化データや半構造化データにとどまらず、パナソニックは現在、非構造化PDFドキュメントリポジトリの課題に取り組んでいます。SharePointをDatabricks環境に接続することで、チームは何千もの複雑な法的文書やサプライヤー文書の処理を自動化しました。Databricks Document Intelligence（ai_parse_documentおよびai_query）を使用することで、数十の主要フィールドを高精度で処理・抽出し、構造化された出力に変換できました。これにより、静的なドキュメントが、クエリ可能なライブデータへと変わりました。
「当社の従来のスタックでは、1万件のサプライヤー契約書とMSAの処理は、2週間かかる手作業の過酷な仕事でした。DatabricksのSharePointコネクタ、Serverlessコンピュート、Databricks Document Intelligenceを活用することで、取り込みから重要な有効期限の抽出まで、そのワークフロー全体をわずか2～3時間に短縮しました。」– 坂本真吾氏、パナソニック ITプリンシパルデータアーキテクト
そのすべてを支えているのがUnity Catalogによる統合ガバナンスレイヤーです。これにより、チームはデータを重複させることなく、事業部門間で安全に共有できます。これらすべてのソースにおいて、チームはDatabricks Serverless コンピュートを活用し、パフォーマンスの高いETLノートブックをごくわずかな時間で実行しています。
「当社の従来の環境では、巨大なSAPテーブルのロードに5～6時間かかり、頻繁に失敗していました。Databricksに標準化しAuto Loaderを使用することで、最大のテーブルの取り込み時間は数時間からわずか2分に短縮されました。今ではパイプラインは完全に安定しており、経営陣は常にタイムリーなレポートを入手できています。」– 加藤由佳氏、パナソニック リードデータエンジニア
信頼できるデータがもたらす全社的なインパクト
現在、パナソニックのビジネスリーダーは、毎朝、日々の売上、請求、在庫をカバーする正確でタイムリーなレポートを確実に受け取ることで、業務を開始しています。すべてのシルバーテーブルのエンドツーエンドのデータ処理は約30分で完了し、かつては達成不可能に思えた信頼性が、今では新たな標準となっています。
その影響はパフォーマンスにとどまらない。高価なレガシーデータウェアハウス、ETL、BIライセンスを廃止することで、チームはTCO(継続運用コスト)を大幅に削減しました。その結果、予算とリソースに余裕ができ、チームはより付加価値の高い業務に集中できるようになった。信頼できるデータ基盤が構築されたことで、組織全体でデータへのアクセスが可能になった。BIアナリストはデータを直接探索できるようになり、ロード時間と更新時間を約50%短縮できます。営業担当者や地域マネージャーは、それぞれ独自の見解や予測モデルを構築している。
「Databricksは、データアナリストがより多くのことを行えるようにしてくれました。彼らは生データを直接探索し、共有ノートブックで共同作業を行い、これまで以上に迅速に動くことができます。この業務効率化の結果、私たちの小規模なデータサイエンスチームは、エンタープライズ規模のソリューションに取り組むことができます。」– Jerry Deng氏、パナソニック BIディレクター
安定した統合データ基盤が整った今、そのアクセスの精神がパナソニックのAIへの取り組みを形作 っています。チームはGenieワークスペースを導入し、技術者ではない見積もりチームが価格履歴や予測知見にセルフサービスでアクセスできるようにしています。
「我々の引用チームはSQLで考えない。彼らは顧客と製品を考えています。Genieは彼らの現状に応え、価格の質問を即座に答えに変え、小規模なデータチームが企業全体のインパクトを届けることを可能にします。」- エレナ・グサコワ、パナソニック上級データサイエンティスト
