チュートリアル: 午後からでもできる3つの無料Databricksアナリティクスプロジェクト

一般に公開したり、面接で話したり、履歴書やポートフォリオに追加したりできる本格的なアナリティクスプロジェクトに、クレジットカードなしで取り組んでみませんか？

Databricks Free Edition を使用すると、学生、若手の専門家、AI に興味のある人々は、主要企業で使われているのと同じデータ＋AIツールにアクセスできます。個人プロジェクトに適したコンピュート能力が提供され、Databricks の AI/BI dashboard とアナリティクスツールは、使い始めるのに最適なツールです。このブログでは、いくつかの公開データセットを取り込んで多角的に分析し、洗練されたダッシュボードを構築して、データに隠された傾向と知見に関する明確なストーリーを伝える方法を紹介します。

スプレッドシートのパワーユーザーでSQLやPythonでレベルアップしたい方から、AIを活用したアナリティクスをエクスペリメントを試したい経験豊富なBIエンジニアまで、これらのプロジェクトは、誰もが具体的なものを素早く構築できるよう設計されています。さらに詳しく知りたい場合は、Databricksの無料のセルフペースAI/BIトレーニングや詳細なAI/BI作成者向けコースを確認したり、無料のライブオンボーディングセッションに参加したりできます。また、その他多数のインストール可能な公開デモにもこちらからアクセスできます。

設定

アカウントをお持ちでない場合は、こちらから Databricks Free Edition にサインアップできます。クレジットカードや電話番号は不要です。Databricks Free Edition を使用すると、Databricks に永久に無料でアクセスして、実験や学習を行うことができます。注: 無償版は個人使用向けであり、本番運用や商用利用はできません。ビジネス向けの、本番運用レベルでフルサポートのデータプラットフォームをお探しの場合は、こちらから Databricks にお問い合わせください。

始める前に最後のヒントを1つお伝えします。エラーが発生したり、どこかでつまずいたりした場合は、Databricks Assistant（右上隅の紫色のひし形アイコン）が、デバッグやSQLの生成、作業中の概念の説明に非常に役立ちます。

セットアップが終わったので、早速始めましょう！

1. (模擬) クッキーベーカリーを分析する

まずは簡単なウォーミングアップから始めましょう。中小企業にとって、事業運営とトレンドを常に把握することは、成功に不可欠です。中小企業の経営者は、ベストセラー製品の特定、最も業績の良い拠点の洗い出し、来年の売上予測といった知見を求めているかもしれません。

すべてのDatabricksワークスペースには、「samples」カタログの下にサンプルデータセットがプリインストールされており、新機能のエクスペリメントを行うのに最適な出発点となります。特に、「bakehouse」というサプライヤー、レビュー、取引のシミュレーションデータセットは、「私たち」のスモールビジネスの業績についてストーリーを語る練習に適しています。データセットは、Databricksの左側メニューサイドバーにある「カタログ」セクションにあります。これはすべてのワークスペースの中核であり、分析に利用できるデータセットを探索できます。

この場合、「samples」カタログと「bakehouse」スキーマを展開してデータを見つけることができます。

開始するには、ワークスペースの左上隅にある「new->Dashboard」をクリックして新しいダッシュボードを作成し、次にダッシュボードの「data」tabで、以下のような SQL を使用してテーブルのいずれかから選択します (または UI テーブルピッカーから選択します)。

ダッシュボードのキャンバスに、明確なストーリーを伝えるのに役立つビジュアライゼーションとテキストを追加します。例えば、構成（製品構成など）には円グラフ、トレンド（時系列の売上など）には折れ線グラフ、主要な数値（総トランザクション数や収益など）を強調表示するにはカウンターを使用できます。

Bakehouseデータセットには、シミュレートされた顧客レビューも含まれているため、AI_Query()関数を使用したAI支援分析を試すのに最適です。これにより、データに直接AIモデルを適用して新しいデータセットが作成されます。このケースでは、各レビューを肯定的、否定的、または中立的に分類します。また、プロンプトを変更して各レビューへの自動返信を生成することもできます（さまざまな口調でエクスペリメントするのもよいでしょう）。

応用編: ai_classify() や ai_gen() のような別のAI関数を適用する方法を見つけられますか？AI_Query() のプロンプトを微調整して、ダッシュボードの解説を自動生成させることはできるでしょうか？あるいは、レビューへの自動返信はどうでしょう？さらに一歩進んで、Kasey Uhlenhuth が Data & AI Summit 2024 で行ったように、上位のレビューに基づいてマーケティングコピーを自動生成するエージェントを構築することも可能でしょうか？

2. 家賃を予測する

住宅データは、アナリティクスを鍛えるのに最適な分野です。天候や金利のように見つけられる強い相関関係がたくさんあり、公式（多くは政府）の情報源から公開されている質の高いデータも豊富にあります。いくつか例を挙げると、Zillow Research のオープンデータセットは米国の優れた住宅データを提供しており、一方で英国政府の国家統計局は高品質な国勢調査データを提供しています。一般的な分析の問いとしては、「最も成長率が高い州/県はどこか？」といったものがあります。「新規建設が最も多いのはどこですか？」,あるいは、「住宅費と金利の関係は何か？」などです。

私個人が気に入っているのは、カナダ政府のオープンガバメントポータルにある「賃貸物件の提示価格」データセットです。これには、年、大都市圏、ベッドルーム数などの属性を持つ募集賃料のセットが含まれています。データが年を個別の行としてレイアウトしているため、フィルタリングや分析がしやすいと感じています。

データをワークスペースに取り込むには、ポータルからデータセットをダウンロードし、zip ファイル（‘46100092.csv’）からデータ ファイルを展開し、次に、ワークスペースのホームページにある「データをアップロード」ボタンをクリックし、簡単なウィザードに従って CSV 形式をテーブルに解析します。

デフォルトでは、作成されるテーブルには技術的なファイル名と同じ名前が付けられます。そのため、「Housing_data」のような分かりやすい名前に変更するのを忘れないようにしてください。作成後、ワークスペースの「catalog」セクションでそれを見つけ、「create」ボタンでダッシュボードを作成すると、データセットのスケルトンが事前に入力されたダッシュボードが作成されます。

スターターダッシュボードを強化するために、分析にコンテキストと彩りを加える他の切り口や比較を追加することもできます。他の都市の平均家賃や成長率を比較したり、1ベッドルーム物件と他の住宅タイプの比率を調べたりすることを検討できます。最も物価の高い都市はどこですか？ユーザーが特定の都市や物件タイプに絞り込めるように、フィルターを追加することも忘れないでください。

場合によっては、別のSQLクエリを作成したり、他のデータを組み込んだりする必要がありますが、その際はDatabricksアシスタント（右上の紫色のひし形）が役立つことを覚えておいてください。この例では、マップビューを構築できるように、都市の緯度/経度を追加するようアシスタントに依頼しました。

予測を生成するには、まず、x軸を基準日、y軸を販売価格（値）とする通常の折れ線グラフから始めます。次に、サイドバーで「予測を追加」ボタンを探します。これにより、新しい予測の可視化がダッシュボード キャンバスに追加されます。これは、時系列MLモデルを呼び出してデータに適用するDatabricksの「AI_Forecast()」SQL関数を使用して、新しいSQLデータセット上に構築されます。このベータ版機能はまだ開発途上ですが（ぜひフィードバックをお寄せください！）、機械学習を実世界のユースケースに適用するための出発点として役立ちます。また、Databricks Assistantを使えば、新しいデータセット用に独自のカスタムSQLをいつでも作成できます。

応用編: AI_Forecast() は簡単な参照予測に最適ですが、より正確な予測を行うには、他のデータポイントを組み合わせてカスタムの機械学習アルゴリズムを適用する必要があります。その完全なソリューションがどのようなものになるか (この場合は風力タービンのメンテナンス予測) は、Databricks デモサイトでご覧いただけます。

3. 見学する映画撮影を探す

映画のロケ地として頻繁に使用される都市では、歴史的建造物や絵のように美しい街角で、撮影用トラック、プロダクション アシスタント、監督用の小さなブースに幸運にも出くわすことがあるかもしれません。映画制作会社がこれらの撮影のために公共の場所を封鎖する前に、撮影許可を取得する必要があります。この許可は、その後、政府機関によってオープンデータセットで公開されます。

将来の許可は含まれていませんが、この種のデータセットの好例として、ニューヨーク市のオープンデータポータルに掲載されている映画撮影許可のリストが挙げられます。これには、撮影の種類（例: ニュース、長編映画、シリーズ）のほか、撮影の開始時刻と終了時刻、区、郵便番号が記載されています。データセットをさまざまな角度から分析することで、最もよく使われるロケ地を特定し、うまくいけば撮影中のスターを垣間見ることができるでしょう。

これまでの例と同様に、まず Databricks にデータを読み込むことから始める必要があります。NYC のオープンデータポータルでは、.csv を簡単にダウンロードできます。そして、これまでの演習と同様に、UI の「データをアップロード」機能を使用してインポートします。しかし、このデータセットの興味深い特徴の 1 つは、毎日更新されることです。定期的にランできるように、そのデータをプログラムで取得しましょう。これは、エンタープライズ コンテキストでのアプローチ方法にはるかに近いものです。

Databricksでは、ノートブックを介して必要なPythonを非常に簡単に実行できます。この場合、ノートブックを作成し（左上隅の[新規]→[ノートブック]）、以下のコードをコピー＆ペーストしてランし、ワークスペースにCSVをdownloadしてテーブルに解析します。問題が発生した場合は、いつでもDatabricks Assistant（紫色のひし形アイコン）が役立つことを覚えておいてください。

この最初のコードでは、Volume（任意のファイルを保存する場所）を作成し、PythonのURLLibライブラリを使用してデータセットをダウンロードします。カタログ名やスキーマ名は、ご自身のスタイルに合わせて自由に変更してください。

この2番目のコードは、生ファイルを取り込み、ダッシュボードで使用できる「film_permits」という名前のテーブルを作成します。必要であれば、アシスタントに説明を求めてみてください。

正常に動作した場合、ワークスペースのカタログ部分、またはノートブックのデータエクスプローラーサイドバー（3つの図形アイコン）を開き、databricks_demoカタログとopen_nycスキーマを展開してテーブルを見つけることができるはずです。すでに開いていた場合は、「更新」ボタンを押す必要があるかもしれません。

リマインダー：コードで問題が発生した場合は、いつでもコードによるアプローチを断念し、ポータルからデータをdownloadして、ワークスペースのホームページにある「データをupload」ボタンから手動でインポートできることを覚えておいてください。

テーブルを読み込んだら、データをスライス＆ダイスして、ストーリーを提示しましょう！折れ線グラフでトレンドを確認してみましょう。シリーズと長編映画では、どちらの撮影が多いでしょうか？それは時間とともに変化していますか？あるいは、棒グラフや円グラフで分布について考えてみましょう。ニュースやコマーシャルの撮影場所は、映画の撮影場所と大きく重なっているでしょうか？

マップの可視化を構築しようとすると、撮影許可には郵便番号が含まれているものの、AI/BIダッシュボードのマップ可視化には緯度と経度の属性が必要であることに気付くかもしれません。幸いなことに、郵便番号と座標をマッピングするデータセットはオンラインで簡単に見つけることができ、Assistantを使用してダッシュボードに取り込むことができます。このオープンデータセット（Creative Commonsライセンス）をダウンロードし、ダッシュボードで新しいデータセットを作成して、Assistantに結合クエリーの生成を依頼できます。私が使用したプロンプトはこちらです（ご自身の特定のカタログ名とテーブル名に合わせて調整してください）：

そして、こちらが完成したダッシュボードの一例です。

課題：OpenNYC の他のどのようなデータ（例えばタクシーやライドシェアの利用量など）を重ね合わせることができるでしょうか？重要なランドマーク？もしあなたが政治活動に関心があるなら、あなたの主張を後押しするような分析はありますか？他の都市や州も同様のオープンデータセットを提供しています。例えば、シアトルの排出量に関する Building Energy Benchmark データセットなどは、あなたにとってより身近かもしれません。 

Databricksネイティブの「ST Functions」を使用して地理空間分析を拡張し、最も近い他の点を検索できますか？

まとめ

私の一番好きなアナリティクスは、好奇心を追いかけているうちに得られるひらめきの瞬間です。これらの例が、皆さんのアイデアのきっかけになれば幸いです。さらに詳しく学びたい場合や、履歴書に記載できる認定資格の取得を目指す場合は、こちらからDatabricksの無料のセルフペースAI/BI概要トレーニングコースや、こちらからより詳細な作成者向けトレーニングコースにアクセスするか、無料のライブオンボーディングクラスに参加できます！Databricksのドキュメントサイト も、特定の機能を参照するのに最適な場所です。

このブログにあるサンプルダッシュボードのいずれかをインポートしたい場合は、このリポジトリでソースを確認できます。AI/BI ダッシュボードの仕様は単なる JSON なので、ファイルをダウンロードし、ダッシュボードのホームページにある「インポート」ドロップダウンからインポートしてください。

最後に、Databricksデモセンターでは、機械学習からダッシュボード、エージェントAIに至るまで、多数のインストール可能なデモを見つけることができます。何か新しいことに挑戦したり、お気に入りのソーシャルメディアプラットフォームで作成したものをDatabricksコミュニティと共有したりしてください。ハッピーハッキング！

Databricks 無料版で構築を始めましょう

今すぐ無料のワークスペース（クレジットカード不要）を立ち上げて、これらのプロジェクトをポートフォリオにすぐに追加できるダッシュボードに仕上げましょう。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事