Alchemist: Brickbuilder から Databricks Marketplace アプリへ

約6年間、T1AはDatabricksと提携し、企業のデータプラットフォームをモダナイズできるよう、SASからDatabricksへのエンドツーエンドの移行プロジェクトを支援してきました。元SASプラチナパートナーとして、私たちはSASエンジンの独特な動作に起因するプラットフォームの強み、癖、隠れた問題を深く理解しています。今日、その従来の専門知識は、Databricks Champion のチームと専門のデータ エンジニアリング プラクティスによって補完されており、当社は「SAS」と「Spark」の両方に精通するという稀有な能力を有しています。

私たちのジャーニーの早い段階で、繰り返し現れるパターンがあることに気づきました。それは、組織はさまざまな理由でSASからの移行を望んでいるにもかかわらず、どの移行パスも骨が折れる、リスクが高い、あるいはその両方に見えるというものでした。私たちは市場を調査し、いくつかのツールオプションを試験的に導入した結果、ほとんどのソリューションは機能が不十分で、SASの移行を単なる「SQL方言の切り替え」程度にしか扱っていないと結論付けました。このギャップが、私たち独自のトランスパイラを構築するきっかけとなり、Alchemistは2022年に初めてリリースされました。

Alchemist は、SAS から Databricks への移行を自動化する強力なツールです：

• SAS を分析し、コードを解析してあらゆるレベルで詳細な知見を提供します。基本的なプロファイラーでは見逃されがちなギャップを埋め、ワークロードを明確に理解できるようになります。
• SAS コードを Databricks に変換します。当社のアーキテクトと Databricks チャンピオンが設計したベストプラクティスを使用して、不要な複雑さのない、クリーンで読みやすいコードを提供します。
• SASコード（.sasファイル）、SAS EGプロジェクトファイル、.spk形式のSAS DIジョブなど、すべての一般的なフォーマットに対応し、コードと貴重なメタデータを抽出します
• カスタム テンプレート関数を使用して、最も厳しいアーキテクチャ要件にも対応する、柔軟で構成可能な結果を提供します
• AI LLM機能を統合し、非典型的なコード構造に対して、すべてのファイルで100%の変換率を達成します。
• フレームワークやCI/CDパイプラインと簡単に統合し、分析から最終検証、デプロイメントまでの移行フロー全体を自動化します

Alchemistは、当社のすべてのツールとともに、もはや単なる移行アクセラレータではなく、当社のプロジェクトにおける主要なエンジンであり、移行のドライバーです。

では、Alchemistとは具体的にどのようなものでしょうか？

アルケミスト アナライザー

まず第一に、Alchemistは単なるトランスパイラではなく、強力な評価・分析ツールです。Alchemist Analyzerは、あらゆるコードバッチを迅速に解析・検査し、そのSASコードの特性に関する包括的なプロファイルを生成します。数週間かけて手動でレビューする代わりに、クライアントはわずか数分でコードのパターンと複雑性の全体像を把握できます。

分析ダッシュボードは無料で、現在2つの方法で利用できます：

• Databricks Marketplace：T1A Alchemist
• SaaS版: https://live.getalchemist.io/
• ローカル バージョン: クイックスタート ガイドはこちら https://app.getalchemist.io/main

この分析は、移行スコープのサイズに関する知見を提供し、固有の要素を明らかにし、統合を検出し、さまざまなプログラミング パターンに対するチームの好みを評価するのに役立ちます。また、ワークロードのタイプを分類し、自動化変換率の予測を支援し、結果の品質検証に必要な工数を見積もります。

Alchemist Analyzer は、高レベルの概要にとどまらず、プロシージャとオプションの使用状況、データリネージ、コード コンポーネント間の相互依存関係を示す詳細なテーブル ビュー（DDS と呼んでいます）を提供します。

このレベルの詳しさで、次のような問いに答えることができます。

• 改善を迅速に実証するために、MVPとしてどのユースケースを選択すべきでしょうか？
• コードの移行はどのように優先順位を付けるべきでしょうか。例えば、頻繁に使用されるデータを最初に移行すべきか、それとも重要なデータ作成者を優先すべきでしょうか？
• 特定のマクロをリファクタリングしたり、ソース構造を変更した場合、他にどのコードセグメントが影響を受けますか？
• ディスクスペースを解放するため、あるいは高コストなSASコンポーネントの使用を停止するために、最初にどのようなアクションを取るべきでしょうか？

アナライザーはあらゆる依存関係、制御フロー、データタッチポイントを可視化することで、コードの深い理解を可能にし、単なる自動変換をはるかに超える機能を提供します。結果を検証する箇所の特定、モノリスの有意義な移行ブロックへの分割、繰り返し可能なパターンの検出、エンドツーエンドテストの効率化が可能です。これらは複数のクライアントプロジェクトですでに活用されている機能です。

Alchemist トランスパイラ

まず、Alchemist の機能の概要から見ていきましょう。

• ソース： SAS EG プロジェクト (.egp)、SAS base code (.sas)、SAS DI ジョブ (.spk)
• 対象: Databricks ノートブック、PySpark Python コード、Prophecy パイプラインなど
• カバレッジ: SQL、一般的なプロシージャと変換、データステップ、マクロコードに対し、ほぼ 100% のカバレッジと精度を実現します。
• LLM を使用した変換後処理: 問題のあるステートメントを特定し、LLM を使用して調整することで、最終的なコードを改善します。
• テンプレート: リファクタリングやターゲットアーキテクチャのビジョンに合わせて、コンバーターの動作を再定義する機能です。

Alchemist トランスパイラは、3 つのステップで動作します:

1. コードの解析: コードは詳細な抽象構文木（AST）に解析され、そのロジックが完全に記述されます。
2. コードの再構築: ターゲットの方言に応じて、各ASTノードに特定のルールが適用され、ターゲットエンジンでの変換がステップバイステップでコードに再構築されます。
3. 結果の分析と改良: 結果が分析されます。いずれかのステートメントでエラーが発生した場合は、LLMを使用して変換できます。このプロセスには、元のステートメントと、使用されたテーブル、計算コンテキスト、コード要件に関するすべての関連メタデータを一緒に提供することが含まれます。

これらはすべて有望に聞こえますが、実際の移行シナリオではどのように機能するのでしょうか？

最近行った、数百のSAS Enterprise GuideフローをDatabricksに移行した複数の事業部門にまたがる移行プロジェクトから、いくつかのメトリクスを共有します。これらのフローは、日々のレポート作成やデータ統合、定型的な業務チェックを処理するもので、主にアナリティクスチームが維持管理していました。典型的な入力には、テキストファイル、XLSXワークブック、様々なRDBMSテーブルが含まれていました。出力は、Excel/CSVの抽出データやEメールアラートから、パラメータ化された画面上のサマリーまで多岐にわたりました。この移行はAlchemist v2024.2を使用して実行されました（現在利用可能なバージョンよりも古いリリースです）そのため、現在のユーザーはさらに高い自動化率とより高品質な結果を期待できます。

いくつか数字を挙げると、Alchemistで移行した30のランダムなEGフローの一部について統計を測定しました。

まず、簡単な免責事項から始めます。

1. 変換率とは、元のコードのうち、Databricksで実行可能なコードに自動変換されたコードの割合を指します。しかし、この変換の真の精度は、データでテストを実行し、その結果を検証して初めて判断できます。
2. メトリクスは、以前の Alchemist のバージョンで収集されたもので、Template、追加構成、LLM の使用はオフにされています。

その結果、約 75% の変換率と約 90% の精度を達成しました（フローのステップの 90% が変更なしで検証に合格しました）：

AI を活用した変換機能を搭載した最新の Alchemist バージョンでは、100% の変換率を達成しました。しかし、AIが提供した結果は、依然として精度が低いという同じ問題を抱えていました。これにより、データ検証が移行における次の難関となります。

ところで、コードの徹底的な準備、オブジェクトマッピング、その他の構成が移行を成功させるために極めて重要であることを強調しておく価値があります。破損したコード、不正確なデータマッピング、データソース移行の問題、古いコード、その他の準備に関連する問題は、通常、特定して切り分けることが困難ですが、移行のタイムラインに大きな影響を与えます。

データ検証ワークフローとエージェント的アプローチ

自動化され AI 駆動のコード変換が「ワンクリック」に近づいたことで、真のボトルネックはビジネス検証とユーザー受け入れへと移りました。ほとんどの場合、このフェーズは移行全体のタイムラインの 60～70% を占め、プロジェクトのリスクとコストの大部分を占めます。長年にわたり、私たちは品質を損なうことなく「検証フェーズ」を短縮するために、複数の検証技術、フレームワーク、ツールを試してきました。

当社がクライアントからよく伺うビジネス上の課題には、次のようなものがあります。

• プロジェクトのスコープを拡大することなく品質を保証するには、どれくらいのテストが必要でしょうか？
• 再現性と決定性を維持しながら、変換の品質のみを測定できるように、どのようにテストを分離すればよいでしょうか？「同条件での比較」
• ループ全体の自動化：テストの準備、実行、結果の分析、修正
• 不一致の原因となっているステップ、テーブル、または関数を正確に特定し、エンジニアが問題を一度で修正して次の作業に移れるようにする

私たちは、この構成を採用しています。

• テストの自動生成 SAS で自動的に収集された実際のデータ サンプルに基づく
• 分離された4フェーズ テスト:
  • 単体テスト - 変換された各ステートメントの分離テスト
  • E2Eテスト - SASからコピーしたデータを使用した、パイプラインまたはノートブックの完全なテスト
  • 実際のソースの検証 - ターゲットソースを使用したテスト環境での完全なテスト
  • Prod-like テスト - 実際のソースを使用して本番運用環境に近い環境で完全なテストを実施し、パフォーマンスの測定、デプロイの検証、結果統計メトリクスの収集、複数の使用シナリオを実行します
• 「Vibe テスト」 - AI エージェントは、単体テストと E2E テストの修正および調整において優れたパフォーマンスを発揮しました。これは、コンテキストが限定的であること、検証結果が高速であること、データ サンプリングによる反復可能性によるものです。しかし、深い専門知識と経験が要求される最後の 2 つのフェーズでは、エージェントはあまり役立ちませんでした。
• レポート。結果は、主要なステークホルダーが迅速にレビューできるよう、明確で再現性のあるレポートに統合する必要があります。彼らは通常、移行されたコードを検証する時間はあまりなく、完全なユースケースを受け入れてテストする準備しかできていません。

スピードと柔軟性を実現するため、このプロセスにフレームワーク、スクリプト、テンプレートを活用しています。それぞれの移行は、環境、要件、クライアントの関与レベルが異なるため、私たちは「すぐに使える」製品を構築しようとしているわけではありません。それでも、インストールと設定は迅速に行える必要があります。

Alchemistの技術的な洗練さと、実績のある我々の方法論の組み合わせは、一貫して測定可能な結果をもたらしてきました：ほぼ100%の変換自動化率、検証とデプロイメント時間における70%の削減。

移行の最終処理

あらゆる移行ソリューションの真価は、その機能ではなく、クライアントの業務に与える実世界での影響によって測られます。T1A では、移行の技術的な側面以上のものに焦点を当てています。コードを変換してテストしただけでは、移行は完了しないことを私たちは理解しています。移行は、すべてのビジネスプロセスが移行され、新しいプラットフォームからデータを消費するようになり、ビジネスユーザーがオンボーディングされ、Databricksでの作業の利点をすでに活用している時点で完了となります。そのため、私たちは移行だけでなく、専門家による高度な移行後プロジェクト サポートも提供し、お客様のスムーズなオンボーディングを保証します。サポート内容は以下の通りです。

• データプラットフォームのカスタムモニタリング
• さまざまな対象者に合わせてカスタマイズ可能な教育ワークショップ
• 技術的およびビジネスユーザーからのリクエストに対応するため、柔軟なエンゲージメントレベルでチームをサポートします。
• ベストプラクティス共有ワークショップ
• 貴社内における専門知識拠点の構築を支援します。

包括的なコード分析や自動トランスピレーションから、AIを活用した検証フレームワークや移行後のサポートに至るまで、これらすべてが複数のエンタープライズ移行で実戦テスト済みです。そして、私たちの専門知識を皆様と共有する準備ができています。

成功事例

それでは、まとめです。過去数年にわたり、私たちはこの統合的アプローチを、それぞれが独自の課題、規制要件、ビジネスクリティカルなワークロードを抱える、多様なヘルスケアおよび保険組織に適用してきました。

私たちは学習を重ね、ツールを開発し、アプローチを改善してきました。そして今、私たちのビジョンと方法論を皆さんと共有します。ここでは、当社のプロジェクト実績の一部をご覧いただけます。ご要望に応じて、さらに多くの情報をご提供いたします。 

今後の展望

私たちはエージェント的アプローチの採用を始めたばかりですが、定型業務を自動化する上でのその可能性を認識しています。これには、設定とマッピングの準備、コードの完全なカバレッジを達成するためのカスタマイズされたテストデータの生成、アーキテクチャルールを満たすためのテンプレートの自動作成などが含まれます。

その一方で、現在の AI 機能は、特定の非常に複雑なタスクやシナリオを処理するにはまだ十分に成熟していないことがわかります。したがって、今後の最も効果的な道筋は、AIとプログラム的な方法論が交わる点にあると私たちは予測しています。

次回ウェビナーに参加 - "SAS移行のベストプラクティス：20以上のエンタープライズプロジェクトs" →

私たちが学んだこと、次のステップ、Databricksへのフルサイクル移行のベストプラクティスについて詳しく共有します。あるいは、私たちの移行アプローチのデモをご覧ください → また、私たちのチャンネルで移行に関する他の多くの資料もご覧いただけます。

SAS移行を加速しませんか？

リスクゼロで起動する - 今すぐ無料アセスメントを

お使いのSAS環境を数分で分析 →

お使いのSASコードをアップロードすると、瞬時に包括的な分析が実行されます。移行の複雑さを把握し、短期間で成果を上げられる部分を特定し、自動でサイジングを見積もります。サインアップ不要、完全に無料でご利用いただけます。

次のステップへ

移行準備が整った組織向け（[email protected]）：

• 戦略的コンサルテーションの予約 - 分析結果を確認し、カスタム移行ロードマップを作成する 45 分間のセッション

• 概念実証（PoC）のリクエスト - お客様の最も重要なワークフローのパイロット移行で、私たちのアプローチを検証してください

初期段階の計画のために：

• 移行準備チェックリストをダウンロード → 組織の準備レベルを評価するための自己評価ガイド

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事