パナソニックUSの中央データインフラストラクチャチームは、販売、サプライチェーン、人事など、多岐にわたる複数の事業部門のデータバックボーンとして機能するという、意欲的な使命を担っています。レガシーETLパイプラインと断片化したデータウェアハウスが日次レポート作成を遅らせ、ときには数時間にわたるインジェストウィンドウや予測不能な障害が発生することもあったため、チー ムはゼロからモダナイズするという戦略的な決定を下しました。Databricks PlatformとLakeflowに標準化することで、脆弱でサイロ化されたスタックを、信頼性の高い、全社的なデータ基盤へと変革しました。かつては何時間もかかっていたプロセスが数分で完了し、アナリストは以前は手の届かなかったデータに直接アクセスできるようになり、チームはすでに AI という次のフロンティアに向かって進んでいます。
断片化されたレガシーパイプラインが、部門横断的な事業運営を混乱させます。
パナソニックの中央データ・IT基盤チームは、複数の社内カンパニーや事業部門向けの包括的なデータ戦略を推進しています。日常業務、販売予測、サプライチェーン管理をサポートするために、ビジネスリーダーは SAP S/4HANA、Workday、グローバルな販売時点情報管理（POS）システムなどのエンタープライズ システムに大きく依存しています。しかし、パナソニックのレガシーデータスタックは、分断されたETLツールと複雑なデータウェアハウスで構成されていたため、このデータの量と複雑さの処理に苦慮し、パフォーマンスと回復性の面で深刻な問題が生じていました。
最も重大なボトルネックはSAPデータの取り込みでした。従来のチェンジデータキャプチャ (CDC) プロセスの限界を認識したエンジニアリング チームは、より信頼性の高いアプローチを模索していましたが、既存のアーキテクチャでは毎日 100 を超えるテーブルで完全なデータ更新を実行せざる を得ませんでした。数億行にも及ぶ大規模なトランザクション テーブルでは、複雑なパーティションが必要となり、従来のパイプラインが頻繁に失敗する原因となっていました。これらの高負荷処理は完了までに 5～6 時間かかり、年に 10 回ほど故障するため、修復には IT 部門がチーム横断で集中的にトラブルシューティングを行う必要があり、数時間から丸一日を要していました。厳格な早朝の報告締め切りの下で業務を行っている社内事業部門の1つでは、これらのシステム停止によって費用のかさむ遅延が発生しました。経営陣は、重要な経営判断に必要とされる日々の売上、在庫、物流レポートを頻繁に入手できず、結果として日常業務に支障をきたしていました。さらに、貴重なデータがレガシーデータベースのサイロに閉じ込められていたため、正確な予測のために生データへのアクセスを必要とする下流のビジネスインテリジェンス（BI）アナリストにとって、可視性の障壁が生まれていました。
Lakeflow Connectでエンタープライズ向けデータ取り込みを標準化
パナソニックは、回復力のある一元化されたデータ基盤を確立するため Databricks Platform に移行し、Lakeflow Connect を積極的に活用して、エンタープライズ全体の主要なデータソースからのデータ取り込みを標準化しています。
最も緊急な優先事項はSAP S/4HANAでした。パナソニックは、SAP Datasphereと統合してファイルをAzure Data Lake Storage（ADLS）に格納し、Auto Loader（Lakeflow Connectの一部）をデプロイすることで、同社で最も障害の発生しやすいパイプラインの1つにおいて、増分インジェストをシームレスに処理できるようになりました。この最新のアーキテクチャは、ごくわずかなオーバーヘッドで安定した自動化アーキテクチャを実現しました。結果はすぐに現れました。
そこから、チームは他の重要なシステムにも同じアプローチを展開しました。従来は履歴を追跡することが困難だった人事および従業員データが、Workday コネクタによって、マネージャーの異動や従業員の再雇用といった経時的な変更を記録する構造化リレーショナル テーブルに取り込まれるようになりました。さらに、SFTP コネクタは、パナソニック日本本社から、POS データ、出荷メトリクス、製造記録などのグローバル サプライ チェーン データを継続的に取得します。この鮮度が重要なデータは、CSV ファイルと Excel ファイルの形式で提供され、ほぼリアルタイムのサプライチェーン アナリティクスで活用できます。
パナソニックは現在、構造化データや半構造化データだけでなく、非構造化 PDF ドキュメント リポジトリという課題にも取り組んでいます。SharePoint を Databricks 環境に接続することで、チームは数千もの複雑な法務・サプライヤー関連文書の処理を自動化しました。Databricks Document Intelligence（ai_parse_documentおよびai_query）を使用することで、何十もの主要なフィールドを高精度で処理・抽出し、構造化出力に変換して、静的なドキュメントをライブでクエリ可能なデータに変えることができました。
"1万件のサプライヤー契約とMSAの処理は、かつては当社のレガシースタックでは2週間もかかる骨の折れる手作業でした。"「Databricks SharePoint コネクタ、Serverless コンピュート、Databricks Document Intelligence を活用することで、データの取り込みから重要な有効期限の抽出に至るまでのワークフロー全体を、わずか 2～3 時間に短縮しました。"– Shingo Sakamoto氏（パナソニック、ITプリンシパルデータアーキテクト）
そのすべてを支えているのは Unity Catalog による統合ガバナンスレイヤーであり、これによりチームは、ビジネスユニット間でデータを複製することなく安全に共有できます。これらすべてのソースにわたり、チームは Databricks の Serverless コンピュートを活用し、高性能な ETL ノートブックをごく短時間で実行しています。
「当社のレガシー環境では、巨大な SAP テーブルの読み込みに 5～6 時間かかり、頻繁に失敗していました。」Databricks への標準化と Auto Loader の使用により、最大テーブルのインジェストが数時間からわずか 2 分に短縮されました。当社のパイプラインは完全に安定し、経営陣は期日どおりのレポートを確実に受け取れるようになりました。"– Yuka Kato、パナソニック、リードデータエンジニア
信頼できるデータで、企業全体にインパクトを
今日、パナソニックのビジネスリーダーは、日々の売上、請求、在庫を網羅した正確かつタイムリーなレポートが毎朝必ず配信されることで、1 日の業務をスタートしています。すべてのシルバーテーブルに対するエンドツーエンドのデータ処理は約30分で完了し、かつては手が届かないと感じられていた信 頼性が、今や新たな標準となっています。
影響はパフォーマンスにとどまりません。高価なレガシーデータウェアハウス、ETL、BI のライセンスを廃止することで、チームは TCO の大幅な削減を実現しました。その結果、予算とリソースに余裕が生まれ、チームはより価値の高い仕事に集中できるようになりました。そして、信頼できるデータ基盤が整備されたことで、組織全体でアクセスできるようになりました。BI アナリストはデータを直接探索できるようになり、読み込みと更新時間を約 50% 削減します。営業担当者と地域マネージャーは、独自のビューと予測モデルを作成しています。
「Databricks のおかげで、当社のデータアナリストは生データを直接探索し、共有ノートブックで共同作業を行い、かつてないほど迅速に作業を進めることができるようになりました。」この業務効率化によって、私たちの小規模なデータサイエンスチームは、エンタープライズ規模のソリューションに取り組むことができます。"– パナソニック、BIディレクター、ジェリー・デン
安定した統一データ基盤が整備され、アクセスを重視するその精神がパナソニックのAIに対する大きな目標を形作っています。このチームでは、技術者ではない見積もりチームが価格履歴や予測知見にセルフサービスでアクセスできるように、Genie ワークスペースを導入しています。
"弊社の見積チームはSQLで考えるのではなく、顧客と製品を中心に考えています。"Genieはユーザーに寄り添い、価格に関する質問に即座に回答することで、小規模なデータチームが全社的なインパクトをも たらすのを支援します。"- エレナ・グサコワ、パナソニック、シニアデータサイエンティスト
