Databricks Notebookにおけるデータプロファイルの紹介
探索的データ分析を簡素化
によって Edward Gan, Moonsoo Lee 、 オースティン・フォード による投稿
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
データサイエンティストが分析レポートを作成したり、機械学習（ML）モデルをトレーニングしたりする前に、データの形状と内容を理解する必要があります。この探索的データ分析は反復的であり、サイクルの各段階では、データの分布の視覚化や、行数、null数、平均、項目頻度などの要約統計量の計算といった同じ基本的な手法がしばしば含まれます。残念ながら、特に大規模なデータセットの場合、これらの視覚化や統計量を手動で生成するのは煩雑でエラーが発生しやすいため、この課題に対処し、探索的データ分析を簡素化するために、Databricks Notebookにデータプロファイリング機能が導入されました。
Notebookでのデータプロファイリング
DBR 9.1以降を実行しているクラスターで作業するデータチームは、Notebookでデータプロファイルを生成するために、セル出力UI経由とdbutilsライブラリ経由の2つの方法があります。Databricksのdisplay関数（AWS|Azure|Google）またはSQLクエリの結果を使用してデータフレームの内容を表示する際に、セル出力の「Table」タブの右側に「Data Profile」タブが表示されます。このタブをクリックすると、データフレーム内のデータのプロファイルを生成する新しいコマンドが自動的に実行されます。プロファイルには、数値、文字列、日付列の要約統計量と、各列の値の分布のヒストグラムが含まれます。このコマンドは、テーブルに表示されている部分（切り捨てられる可能性がある）だけでなく、データフレームまたはSQLクエリ結果のデータセット全体をプロファイルすることに注意してください。
内部的には、Notebook UIはデータプロファイルを計算するための新しいコマンドを発行します。これは、各データセットに対して自動生成されたApache Spark™クエリを介して実装されます。この機能は、Python、Scala、Rのdbutils APIを介しても利用でき、dbutils.data.summarize(df)コマンドを使用します。詳細については、ドキュメント（AWS|Azure|Google）を参照してください。
Databricks notebooksでDataframesをプレビューする際に、本日データプロファイルを試してみてください！
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
最新の投稿を受信トレイで受け取る
ブログを購読して、最新の投稿を受信トレイにお届けします。