Databricks Notebooksの新機能について

翻訳：Junichi Maruyama.  Original Blog Link

Databricks Notebooksは、データチームやAIチームが効率的に共同作業を行えるオーサリングエクスペリエンスを開発者向けに提供しています。今月末に開催されるData + AI SummitでNotebooksのエキサイティングな新機軸を共有するために、このチームは懸命に働いています。 Weston HutchinsとNeha Sharmaが担当するセッション「Develop Like a Pro in Databricks Notebooks」にぜひご参加ください。 ウォームアップとして、Notebooksに最近追加された機能を簡単に振り返ってみたいと思います。

SQLウェアハウスでDatabricks Notebooksを実行する

SQLはNotebooksでPythonに次いで2番目に人気のある言語です。SQLを愛するユーザーをより良くサポートするために、NotebooksにSQL warehousesを導入します。  SQLウェアハウスはDatabricks SQLを動かすのと同じリソースで、汎用クラスタと比較してSQL実行の価格性能に優れています。  この機能は現在ロールアウト中ですので、ご期待ください！

SQL倉庫に接続されている間は、ノートブックのSQLセルのみが実行されます。他の言語（PythonやScalaなど）を使用したセルはスキップされます。Markdownのセルは引き続きレンダリングされます。詳しくは、ドキュメントをご覧ください。

ノートブック、SQLエディター、データエクスプローラーのデータを同じエクスペリエンスで見ることができます

新しい統一スキーマブラウザでは、ノートブックやSQLエディタから離れることなく、Unity Catalogメタストアの全データを表示できます。For you」を選択すると、ノートブックのアクティブなテーブルにリストをフィルタリングすることができます。 

検索要求をフィルターボックスに入力すると、ディスプレイがアクティブに更新され、そのテキストを含むアイテムのみが表示されます。これにより、現在開いているアイテムや、現在のセッションで以前に開いたことのあるアイテムが検索されます。詳しくはこちらをご覧ください。

デルタ共有を使ってノートブックを共有する

Delta Sharingを使用して、Databricks同士の共有フローでノートブックファイルを共有することができるようになりました。Delta Sharingの簡単さと安全性を利用することができます。ノートブックを共有することで、メタストアやアカウントを超えたコラボレーションが可能になります。これにより、データを共有する人々は、ノートブックでそのデータの価値を解き明かすことができます。

詳しくは、共有にノートブックを追加する方法（提供者向け）と、共有されたノートブックを読む方法（受信者向け）をご紹介します。

変数エクスプローラーでノートPCをデバッグする

変数エクスプローラーは、ノートブック開発セッションのすべての Python 変数の状態を表示します。名前、タイプ、値は、すべての単純な変数タイプで表示されます。Variable Explorerは、SparkとPandasのDataFramesのメタデータも表示されます。シェイプとカラム名は一目でわかり、ホバーするとスキーマのフルビューが表示されます。 

Variable Explorerでは、Databricks Notebooksのpdbのサポートを活用して、Pythonコードをステップスルーしてデバッグすることも可能です。breakpoint()やpdb.set_trace()でブレークポイントを設定することができます。セルを実行すると、実行はブレークポイントで一時停止し、変数エクスプローラーはそのブレークポイントでのノートブックの状態で自動的に更新されます。詳しくはドキュメントをご覧ください。

See you at Summit

Data + AI Summit 2023では, Notebooksを使ったディープダイブセッションを開催します。また、Databricksを使いながら、より効率的な作業を行うための最新の方法についてもお話しします。皆様のご参加をお待ちしております。