大手貨物鉄道会社がGenie Codeを活用してパイプライン作成をスケールさせた方法

カナダ最大級の鉄道網は、カナダ全土から米国にまたがる約20,000マイルの路線を有し、年間2,500億カナダドル以上の物資の輸送を支えています。これほどの規模で事業を展開する組織にとって、数十年に及ぶレガシーなデータ資産の近代化は、テーブルを1つずつ地道に移行していくようなアプローチでは到底対応できませんでした。

稼働中の何百ものパイプライン、リアルタイム分析やAIへの需要の高まり、そしてレガシーシステムに組み込まれた深い組織的知識を抱える中、同社は手作業による開発工数を増やすことなく、近代化をスケールさせる方法を必要としていました。

Databricks Genie Code、Unity Catalog、カスタムのAgent Skills、そしてDatabricks Apps上で構築されたStreamlitアプリを使用することで、チームはパイプライン開発そのものを再現可能な「工場」へと変貌させました。現在では、短いYAMLプロンプトを入力するだけで、本番環境に対応したデータ取り込み（インジェクション）コードを生成できます。このコードは、ライブカタログのメタデータに基づいており、テーブル定義、履歴データのロードロジック、ストリーミング取り込みロジック、インクリメンタルマージロジック、自動テストなど、企業の標準規約にデフォルトで準拠しています。

その結果、新しいテーブルの取り込みの90%以上が自動化され、パイプラインのデリバリー期間は数日から数分へと短縮されました。また、開発者のリソース制限に縛られることなく、ビジネスの成長に合わせてスケールできる近代化プログラムが実現しました。

エンタープライズ規模での複雑なデータ資産の近代化

多くの大企業と同様に、同社もメインフレームシステム、レガシーなデータウェアハウス、エンタープライズETLプラットフォーム、専用アプライアンスなど、数十年にわたり分析資産を構築してきました。同社がモダンなレイクハウスアーキテクチャへと移行するにあたり、その課題は単なる移行にとどまりませんでした。広範なレガシー環境全体で重要なビジネスロジックを維持しつつ、パイプラインの構築方法を簡素化および標準化する必要があったのです。

自動化を導入する前は、1つのテーブルのパイプラインを構築するだけでも数日を要していました。開発チームは、ソーススキーマを調査し、Source-to-Target Mapping（ソースからターゲットへのマッピング）スプレッドシートでビジネスロジックを定義し、履歴データおよびストリーミングの取り込みロジックを構築し、インクリメンタルマージパイプラインを記述し、ダウンストリームの変換を実装し、さらにスキーマの進化、列名の変更、型キャスト、論理削除（ソフトデリート）などのケースに対応するテストカバレッジを作成する必要がありました。

その作業はテーブルが1つであれば対応可能ですが、何百ものテーブルとなると不可能です。最大のボトルネックは、レガシーなロジックをレイクハウスパイプラインへと繰り返し、かつ一貫性を持って変換するために必要な手作業の多さでした。

同社が必要としていたのは、パイプラインそのものの近代化だけでなく、何百ものパイプラインを構築するプロセス自体の近代化でした。

近代化のエンジンとしてのDatabricks

このソリューションは、2つの機能の連携を中心に構築されました。1つは、本番環境に対応した取り込みアーティファクトを生成する、カスタムのAgent Skillsを備えたGenie Code。もう1つは、ソースフィールドをターゲットのレイクハウステーブルにマッピングし、変換ロジックを生成するためのDatabricks Appです。

これらを組み合わせることで、メタデータの検出からコード生成に至るエンドツーエンドのワークフローが、すべてDatabricks内で完結するようになりました。Genie Codeが自律的なAIパートナーとして機能する一方で、カスタムのAgent Skillが同社のデータ取り込みパターンとマージロジックをコード化します。Unity Catalogは、Raw（未加工）、Historical（履歴）、Prep（準備）の各レイヤーにわたるスキーマのイントロスペクション（内省）を提供し、Databricks Appsはソースからターゲットへのマッピング体験をサポートします。作成されたパイプラインはPySpark、Spark SQL、Delta Lakeを使用し、Lakeflow Jobsを介して実行されるように設計されています。

このアプローチにより、チームは独自の取り込み基準やパイプライン規約を使用してGenie Codeを拡張できるようになりました。監査規約、重複排除ロジック、変更シーケンスによるマージガード、論理削除の整合性、テストパターンなどが、各開発者が手作業で適用するのではなく、生成プロセスに直接組み込まれています。

「確率的なワークフローに決定論（確実性）を加えることが鍵です。私たちは正しいと分かっている部分を自動化し、解釈が必要なレイヤーはオプションとして残すことにしました。LLMは思考をサポートしてくれますが、フレームワークによって説明可能性が担保されています」—Dinesh Chandrasekaran氏（カナダの大手運輸・物流企業、データ＆AIリーダー）

この哲学がアプローチ全体の中心となりました。推論や発見が重要な部分にはAIを活用し、一貫性や再現性が最も重視される部分には厳格なパターンを適用する、という方針です。

短いプロンプトから本番環境に対応したパイプラインへ

開発者は、コンパクトなYAMLプロンプトから作業を開始します。最もシンプルなケースでは、Rawデータの取り込みだけであればわずか2行のプロンプトで済みます。完全なテーブルパイプラインを構築する場合でも、ソースとターゲットのテーブル名、プライマリキー、重複排除ロジック、リフレッシュ動作などの主要な入力項目を含めるだけです。

そこから、Genie Codeは構造化されたワークフローに従って処理を行います。プロンプトを解析して検証し、Unity Catalogのメタデータを介して履歴レイヤーと信頼済み（Trusted）レイヤーのスキーマを検出し、列をソースと自動的にマッチングし、型キャストや名前変更の要件を特定し、変換パターンを解決します。そして、同社の標準パターンを使用して要求されたアーティファクトを生成し、企業の必須インバリアント（不変条件）に照らし合わせて各出力を検証します。これらのインバリアントには、プライマリキーのカバレッジ、監査列の配置、変更シーケンスで保護されたマージ、REFRESHを考慮した重複排除、テストスイートのカバレッジなどが含まれます。

モードに応じて、このワークフローは単一のテーブル、1回のリクエストでの複数テーブル、またはUnity Catalogボリュームに保存されたCSVやExcelファイルに基づく一括実行をサポートします。実際には、このワークフローは本番環境に対応した6つの出力（DDL、履歴ロード、Rawストリーミング取り込み、初回インクリメンタルマージ、継続的なインクリメンタルマージ、自動テストスイート）を生成できます。

生成されるすべてのノートブックは、監査列、重複排除、変更シーケンスを考慮したマージ、論理削除の整合性に関する同一の企業規約に従います。

Agent Skillsによる企業標準の再利用化

このアーキテクチャの重要な要素はカスタムのAgent Skillです。これにより、Genie Codeは同社のデータ取り込み基準、命名規則、パイプラインパターンを再利用可能な方法で適用できるようになります。

このスキルは、他のコードベースと同様にバージョン管理されます。これには、エントリーポイントとなる SKILL.mdと、カタログ検出、規約、Raw取り込み、履歴ロード、インクリメンタルマージ、テスト生成のためのサポートパターンファイルが含まれています。この構造により、同社はコード生成ロジックを一元管理しながら、Genie Codeを通じて開発者が利用できるようにしています。

このスキルは、workspace/.assistant/skills/lakehouse-ingestion/にアップロードされた単一のフォルダーです。


これには、エントリーポイントとなるSKILL.mdと、アーティファクトタイプごとに1つずつ、計7つのパターンファイルが含まれています。

Genie Codeは、SKILL.mdのフロントマターを使用して、いつスキルをロードするかを決定します。

基準を1つの場所にドキュメント化して各開発者に手作業での解釈を求める代わりに、チームはそれらの基準をワークフロー自体にコード化しました。エージェントがコンテキストの収集とオーケストレーションを処理し、スキルによって生成されたアーティファクトが常に同じパターンに従うようにします。

開発者は、Genie Codeセッション内で短いYAMLプロンプトを使用してコード生成を開始します。Raw取り込みのみであれば最小2行、完全なパイプラインでも6行で済みます。

最小限の例（Raw取り込みノートブックのみを生成）：

完全な例。1つのテーブルに対して、6つのアーティファクトで構成される完全なパイプラインを生成します。

これら6つのアーティファクトは、実行時に次の順序で実行されます。

Unity Catalogに基づく、デフォルトでのガバナンス

もう1つの重要な設計原則は、静的な想定ではなく、稼働中のメタデータに基づいてコード生成を行うことでした。

Genie CodeはUnity Catalogを使用して、RAWテーブル、履歴テーブル、準備テーブル全体のスキーマをリアルタイムで検査します。このメタデータ駆動型のアプローチにより、個別のディスカバリレイヤーが不要になり、コードが出力される前に、マッピングの生成、変換の推論、必要なフィールドの検証を行うために必要なコンテキストをエージェントに提供します。

同様に重要な点として、生成されたすべてのアーティファクトはDatabricksワークスペース内にとどまり、データプラットフォームの他の部分と同じガバナンスモデル内で動作します。アクセス制御、メタデータポリシー、履歴履歴はDatabricksのネイティブ機能として維持されます。メタデータに基づく設計とガバナンスが効いた実行環境の組み合わせにより、チームはエンタープライズAIの導入における一般的な課題、つまり「一貫性を損なったり制御を弱めたりすることなく、迅速に移行する」という課題を解決することができました。

重要なプロセスにおけるHuman-in-the-loop

同社は、これを完全に自動化された生成課題としては扱いませんでした。コードが生成される前に、データデザイナーはDatabricks Appを使用して、レガシーなソースシステムからのフィールドがターゲットのレイクハウステーブルにどのようにマッピングされるべきかを検査します。

「ソースからターゲットへのマッピング（Source-to-Target Mapping）」と呼ばれるこのステップでは、盲目的に推測したり自動化したりすべきではないビジネスロジックを取り込みます。StreamlitベースのDatabricks Appsで構築されたこのアプリは、ソースシステムのテーブルをスキャンし、列のマッピングを事前に入力し、データデザイナーがブラウザ上で変換ロジックを確認および調整できるようにします。

各編集は変更ログに記録され、最終的なマッピングはエクスポートして生成ワークフローの入力として使用できます。これにより、ビジネス上の解釈が依然として重要となるワークフローの部分から専門家のレビューを排除することなく、プロセスを迅速化できました。データデザイナーは変換の意図やビジネスロジックに集中でき、Genie Codeと生成フレームワークが反復可能な実装パターンを処理しました。

設計段階からの決定論的アプローチ

アーキテクチャにおける最も重要な決定の1つは、推論レイヤーをインテリジェントかつ適応可能に保ちつつ、出力されるパイプラインコードを決定論的（デターミニスティック）にすることでした。

Genie Codeは、プロンプトの解釈、スキーマの検出、適切な生成パスの選択、正しいアクションシーケンスの結合など、エージェント型推論のメリットを享受できるワークフローの部分を処理します。しかし、生成されるPySparkコード自体はルール駆動型であり、再現可能です。マージステートメント、重複排除ウィンドウ、監査列の配置、型キャスト、テストパターンはすべて、明示的なテンプレートと不変条件を通じて定義されます。

同社にとって、これは不可欠なことでした。本番環境のパイプライン生成において、マージロジック、重複排除ウィンドウ、または監査列の配置におけるわずかな差異が、下流のデータ品質リスクを引き起こす可能性があります。決定論的な出力により、システムはエンタープライズ規模で使用するのに十分な信頼性を備え、苦労して確立したエンジニアリング基準を維持するのに十分な一貫性を持つようになりました。

成果：開発者のスループットからモダナイゼーションのスループットへ

その効果は即座に、かつ実用的な形で現れました。

• Databricks Lakehouseへの新しいテーブル取り込みにおける90%以上の自動化
• パイプラインの開発時間をテーブルあたり数日から数分に短縮
• アドホックな要求、バッチ移行、スプリント規模のモダナイゼーションの取り組み全体にわたる、単一、複数、および一括生成モードのサポート
• 手動でのコンプライアンスレビューを必要とせず、生成されたすべてのアーティファクトにわたってエンタープライズ基準を一貫して適用

変化したのは開発者の生産性だけではありません。同社はモダナイゼーションプログラム自体のスループットを向上させました。

すべてのテーブル移行を個別のエンジニアリングプロジェクトとして扱うのではなく、チームはレガシー資産をガバナンスの効いたレイクハウスパイプラインに大規模に変換するための、再現可能なシステムを構築しました。

今後の展望

同社は、これをより広範なモダナイゼーション自動化の基盤と捉えています。チームは現在、オーケストレーション、変換、ビジネスロジック、オブザーバビリティのためのよりモジュール化されたスキルアーキテクチャの検討、Unity Catalogを超えた広範なエンタープライズデータカタログへのディスカバリの拡張、レガシーなDataStage、COBOL、およびストアドプロシージャロジックのPySparkへのAI支援による変換の評価、そして日常的なパイプラインのトリアージ、DBRアップグレード、スキーマ不一致の修復をサポートするための新たなバックグラウンドエージェント機能の活用を模索しています。

長期的な目標は、単にコード生成を高速化することだけではありません。レガシーの複雑さ、ビジネス需要、プラットフォームの範囲が拡大し続けても、継続的にスケールするモダナイゼーションモデルを構築することです。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事