Databricks AppsのトランザクションデータレイヤーとしてLakebaseを使用する方法

序章

内部ツールやAIパワードアプリケーションを「伝統的な」方法で構築すると、開発者は繰り返し発生し、エラーが発生しやすいタスクの迷路に追い込まれます。まず、専用のPostgresインスタンスを立ち上げ、ネットワーキング、バックアップ、モニタリングを設定し、そのデータベースを使用しているフロントエンドフレームワークに接続するために何時間も（または何日も）費やす必要があります。その上で、彼らはカスタム認証フローを書き、細かい権限をマッピングし、それらのセキュリティコントロールをUI、APIレイヤー、データベース全体で同期させなければなりません。各アプリケーションコンポーネントは、管理されたクラウドサービスから自己ホスト型のVMまで、異なる環境で動作します。これにより、開発者は異なるデプロイメントパイプライン、環境変数、資格情報ストアを使い分ける必要があります。結果として、スキーマの移行や新しい役割などの単一の変更が複数のシステムに波及し、手動での更新、広範なテスト、そして絶えず調整が必要な断片化したスタックが生じます。このようなオーバーヘッドは、開発者が本当に価値を付加することから注意をそらします：製品のコア機能とインテリジェンスの構築。

Databricks LakebaseとDatabricks Appsを使用すると、アプリケーションスタック全体が一緒に、レイクハウスの隣に配置されます。Lakebaseは、フルマネージドのPostgresデータベースで、低レイテンシの読み書きを提供し、あなたの分析とAIワークロードを支える同じ基礎的なlakehouseテーブルと統合されています。Databricks Appsは、UIのためのサーバーレスランタイムを提供し、組み込みの認証、細かい権限、そしてLakebaseが提供する同じデータに自動的に適用されるガバナンスコントロールを提供します。これにより、複数のプラットフォームをつなぎ合わせたり、データベースを同期させたり、パイプラインを複製したり、システム間でセキュリティポリシーを調整したりすることなく、トランザクション状態、分析、AIを組み合わせたアプリを簡単に構築し、デプロイすることができます。

なぜLakebase + Databricks Appsなのか

LakebaseとDatabricks Appsは、Databricksプラットフォーム上でのフルスタック開発を簡素化するために連携して動作します：

• Lakebaseは、高速な読み取り、書き込み、更新、そしてブランチングやポイントインタイムリカバリーのような現代的な機能を備えた完全に管理されたPostgresデータベースを提供します。
• Databricks Appsは、組み込みのアイデンティティ、アクセス制御、そしてUnity Catalogや他のlakehouseコンポーネントとの統合を備えた、あなたのアプリケーションフロントエンドのためのサーバーレスランタイムを提供します。

これらを組み合わせることで、Lakebaseで状態を保存し更新し、lakehouseで管理されたデータにアクセスし、すべてを安全な、サーバーレスのUIを通じて提供するインタラクティブなツールを構築することができます。これにより、別々のインフラストラクチャを管理する必要がなくなります。下の例では、このセットアップを使用してシンプルな休暇申請承認アプリを構築する方法を示します。

入門：Lakebaseを使ったトランザクションアプリの構築

このウォークスルーでは、マネージャーがチームからの休暇申請をレビューし、承認を支援するシンプルなDatabricksアプリの作成方法を示します。アプリはDatabricks Appsで構築され、リクエストの保存と更新にはバックエンドデータベースとしてLakebaseを使用しています。

このソリューションがカバーする内容は次のとおりです：

1. Lakebaseデータベースのプロビジョニング
   クリック数回でサーバーレスのPostgres OLTPデータベースを設定します。
2. Databricksアプリの作成
   StreamlitやDashのようなPythonフレームワークを使用して、Lakebaseから読み取りと書き込みを行うインタラクティブなアプリを作成します。
3. スキーマ、テーブル、アクセス制御の設定
   必要なテーブルを作成し、アプリのクライアントIDを使用して細かい権限を割り当てます。
4. Lakebaseと安全に接続し、対話する
   Databricks SDKとSQLAlchemyを使用して、アプリコードからLakebaseに安全に読み取りと書き込みを行います。

このウォークスルーは、最小限の作業例であなたがすぐに始められるように設計されています。その後、より高度な設定でそれを拡張することができます。

ステップ1：Lakebaseのプロビジョニング

アプリを構築する前に、Lakebaseデータベースを作成する必要があります。これを行うには、Computeタブを選択し、OLTP Databaseを選択し、名前とサイズを指定します。これにより、サーバーレスのLakebaseインスタンスがプロビジョニングされます。この例では、私たちのデータベースインスタンスはlakebase-demo-instanceと呼ばれています。

ステップ2：Databricksアプリを作成し、データベースへのアクセスを追加

データベースができたので、それに接続するDatabricks Appを作成しましょう。空白のアプリから始めるか、テンプレート（例：StreamlitやFlask）を選択できます。アプリに名前を付けたら、Databaseをリソースとして追加します。この例では、事前に作成されたdatabricks_postgresデータベースが選択されています。

データベースリソースを自動的に追加する：

• アプリにCONNECTとCREATEの権限を付与
• アプリのクライアントIDに紐づいたPostgresロールを作成

このロールは後でテーブルレベルのアクセスを付与するために使用されます。

ステップ3：スキーマ、テーブルの作成、および権限の設定

データベースがプロビジョニングされ、アプリが接続されたので、これでアプリが使用するスキーマとテーブルを定義できます。

1. アプリのクライアントIDを取得する

アプリの環境タブから、DATABRICKS_CLIENT_ID変数の値をコピーします。これはGRANTステートメントで必要になります。

2. Lakebase SQLエディタを開く

Lakebaseインスタンスに移動し、新規クエリをクリックします。これにより、データベースエンドポイントがすでに選択された状態でSQLエディタが開きます。

3. 次のSQLを実行します：

SQLエディタを使用することは、このプロセスを迅速かつ効果的に実行する方法ですが、スケールするデータベーススキーマの管理は、バージョニング、コラボレーション、自動化をサポートする専用ツールによって最適に行われます。FlywayやLiquibaseのようなツールを使用すると、スキーマの変更を追跡し、CI/CDパイプラインと統合し、アプリケーションコードと同時にデータベース構造が安全に進化することを確認できます。

ステップ4：アプリの構築

権限が整ったら、あなたのアプリを構築することができます。この例では、アプリはLakebaseから休暇のリクエストを取得し、マネージャーがそれらを承認または拒否できます。更新は同じテーブルに書き戻されます。

ステップ5：Lakebaseに安全に接続

SQLAlchemyとDatabricks SDKを使用して、安全なトークンベースの認証でアプリをLakebaseに接続します。Lakebaseリソースを追加すると、PGHOSTとPGUSERが自動的に公開されます。SDKはトークンキャッシングを処理します。

ステップ6：データの読み取りと更新

次の関数は、休暇リクエストテーブルから読み取り、更新します：

上記のコードスニペットは、Streamlit、Dash、Flaskなどのフレームワークと組み合わせて使用することで、Lakebaseからデータを引き出し、アプリでそれを視覚化することができます。必要なすべての依存関係がインストールされていることを確認するために、必要なパッケージをアプリのrequirements.txtファイルに追加します。コードスニペットで使用されるパッケージは以下にリストされています。
 

LakebaseでLakehouseを拡張する

Lakebaseは、フルマネージドのOLTPデータベースを直接プラットフォームに統合することで、lakehouseにトランザクション機能を追加します。これにより、読み取りと書き込みの両方を必要とするアプリケーションを構築する際の外部データベースや複雑なパイプラインの必要性が減少します。

それはDatabricksとネイティブに統合されており、データ同期、アイデンティティ認証、ネットワークセキュリティを含む - lakehouse内の他のデータ資産と同様です。システム間でデータを移動するためのカスタムETLやリバースETLは必要ありません。例をいくつかご紹介します。

• オンラインフィーチャーストアと同期テーブルを使用して、リアルタイムで（現在利用可能）アプリケーションに分析機能を提供することができます。
• 例えば、運用データをDeltaテーブルと同期させて、履歴データの分析（プライベートプレビュー中）を行うことができます。

これらの機能は、以下のような本番環境でのユースケースをサポートするのに役立ちます：

• AIエージェントの状態を更新する
• リアルタイムのワークフロー（例えば、承認、タスクルーティング）を管理する
• ライブデータを推奨システムや価格設定エンジンに供給する

Lakebaseはすでに、パーソナライズされた推奨、チャットボットアプリケーション、ワークフロー管理ツールなどのアプリケーションで業界を問わず使用されています。

次のステップ

すでにDatabricksを分析やAIに使用している場合、Lakebaseはアプリケーションにリアルタイムの対話性を追加することを容易にします。低レイテンシのトランザクション、組み込みのセキュリティ、Databricks Appsとの緊密な統合をサポートしているため、プロトタイプから本番までプラットフォームを離れることなく進めることができます。

まとめ

Lakebaseは、Databricks Appsとシームレスに連携し、Lakehouseデータとの簡単な統合を提供するトランザクション型のPostgresデータベースを提供します。外部のOLTPシステムや手動の統合ステップを必要とせず、フルスタックのデータとAIアプリケーションの開発を簡素化します。

この例では、以下の方法を示しました：

• Lakebaseインスタンスの設定とアクセスの設定
• Lakebaseに読み書きするDatabricksアプリを作成する
• 最小限のセットアップで安全なトークンベースの認証を使用する
• PythonとSQLを使用して休暇申請を管理する基本的なアプリを作成する

Lakebaseは現在パブリックプレビュー中です。今すぐDatabricksワークスペースから試すことができます。使用方法と価格については、LakebaseおよびAppsのドキュメンテーションをご覧ください。