ローカルIDEからDatabricksのワークロードを実行、デバッグ、スケール

Databricksワークスペースは、データ分析やデータエンジニアリング向けに専用設計されています。しかし、独自のツールやCursor、Copilot、Claude Codeなどのコーディングアシスタントを活用するために、ローカルのIDEやCLIを使用したい場合もあるでしょう。これは、複雑で大規模なパイプラインや機械学習モデルを開発する場合に特に当てはまります。

これまでは、Visual StudioおよびCursor用のDatabricks拡張機能やDatabricks Connectによって、Databricksコンピュートを使用したローカルでのSpark開発が可能でした。しかし、Spark以外のワークロードをリモートで実行することや、依存関係をDatabricks Runtimeと同期させることは、依然として共通の課題でした。

現在、私たちはこれらの課題を解決しています。IDE体験の最新アップデートにより、VS Code、Cursor、またはターミナルをDatabricksコンピュートに直接接続できるようになりました。IDEの快適な操作性を維持したまま、実際のクラスターインフラストラクチャ上でPythonやSQLのワークロードを実行、デバッグ、スケールできます。

妥協のないリモート実行

新しいSSHトンネル（ドキュメントを参照）を使用すると、ローカルのエディタやCLIをServerless、AI Runtime、および専用クラスターに接続できます。

• VS Code、Cursor、またはCLIから、ワークスペースのファイルやノートブックをインタラクティブに実行およびデバッグできます。

  Expand

   

• IDEとワークスペースで同じ環境を使用でき、依存関係とファイルは常にDatabricks Runtimeおよびワークスペースと同期されます。

  Expand

   

• SSHトンネル内でコーディングアシスタントを活用することで、アシスタントがワークスペースの完全なコンテキストを把握し、Databricksとより効果的に連携できるようになります。CursorやCopilotはすぐに利用でき、Claude Codeなどの他のアシスタントはSSHトンネルの実行中にインストールできます。

  Expand

開始方法は簡単です。Databricks CLIを使用して、単一のコマンドでSSHトンネルに接続できます。

• databricks ssh connect：サーバーレスに接続します。
• databricks ssh connect --accelerator <GPU_type>：AI Runtimeに接続します。GPUタイプは（GPU_1xA10またはGPU_8xH100）を指定できます。
• databricks ssh connect --cluster <cluster_id>：専用クラスターに接続します。

また、追加のフラグとして--ide vscodeまたは--ide cursorを含めることで、IDE内でSSHトンネルを開始することもできます。

または、最新バージョンのIDE拡張機能から直接SSHトンネルを開始することもできます。

また、CLIやIDEを主な作業場所として使いやすくするためのその他の機能も追加しました。

• プロジェクトの依存関係の管理（ドキュメント）： --base-environmentフラグを使用してワークスペースのベース環境を指定し、Pythonの依存関係がプリインストールされた状態でSSHトンネルを開始します。
• 使用状況とコストの監視（ドキュメント）： --usage-policy-idフラグを使用してサーバーレス使用ポリシーを適用し、ユーザー、チーム、またはプロジェクトごとにSSHトンネルのコストを追跡します。
• IDEからUnity Catalogを使用してデータ資産を探索（ドキュメント）： 開発フローの途中でワークスペースに切り替えることなく、カタログ、スキーマ、およびすべてのデータ資産をブラウズできます。

SSHトンネルへの接続に関する詳細については、こちらのドキュメントをご覧ください。

今後の予定

• SSHトンネルユーザー向けにUnity AI Gatewayが自動的に構成され、各アシスタント、ツール、モデル、およびMCPへのアクセスと支出を管理できるようになります。
• 既存のIDE拡張機能がSSHトンネルに統合され、IDEのユーザーインターフェースからDeclarative Automation Bundlesをデプロイおよび管理できるようになります。
• Python以外の依存関係やカスタムDockerイメージをSSHトンネルの起動時に構成できるようになり、環境を完全に制御できるようになります。

おわりに

これらの機能により、データおよびMLエンジニアリングの最前線にいながら、好みの環境から開発を行うことができます。IDEやアシスタントをDatabricksに向け、実際のコンピュートに対して実行およびデバッグを行い、迅速な開発ループを維持しましょう。

詳細情報と次のステップ

このブログで紹介した開発ツールの使用を開始するには、以下のドキュメントをご覧ください。

• 「SSHトンネル」（AWS | Azure | GCP）
  Databricksコンピュートに接続し、Databricksワークスペース内でコードとデータの安全性を完全に維持しながら、IDEまたはCLIからPythonおよびSQLのワークロードをインタラクティブに実行します。
• 「IDE拡張機能」（AWS | Azure | GCP）
  ローカルファイルを操作し、IDEのユーザーインターフェースを使用してDeclarative Automation Bundlesを定義、デプロイ、実行します。
• 「Databricks Connect」（AWS | Azure | GCP）
  ローカル開発環境をDatabricksコンピュートに接続し、Sparkワークロードをリモートで実行します。
• 「Unity AI Gateway」（AWS | Azure | GCP）
  チームが使用できるAIサービスを制御し、AIトラフィックのルーティングと管理、ガードレールの設定、および使用状況の監視を1つのコントロールプレーンから行います。

ニーズに最適なツールを理解するには、IDEからの接続をご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事