チュートリアル：午後のうちにできる、無料のDatabricks分析プロジェクト3選

クレジットカードなしで、公開できる、面接で話せる、または履歴書やポートフォリオに追加できる、実際の分析プロジェクトをご希望ですか？

Databricks Free Editionは、学生、若手プロフェッショナル、AIに興味のある方に、大手企業で使用されているのと同じデータ+AIツールへのアクセスを提供します。パーソナルプロジェクトに必要なコンピューティングリソースと、DatabricksのAI/BIダッシュボードおよび分析ツールは、開始するのに最適です。このブログでは、公開データセットをインポートして分析し、洗練されたダッシュボードを構築し、隠されたトレンドとインサイトについて明確なストーリーを語る方法を説明します。

SQLとPythonでスキルアップしたいスプレッドシートのパワーユーザーでも、AI搭載分析を試している経験豊富なBIエンジニアでも、これらのプロジェクトは、実用的なものを迅速に構築できるように設計されています。さらに深く学びたい場合は、Databricksの無料のセルフペースAI/BIトレーニング、詳細なAI/BIコース、またはライブ無料オンボーディングセッションに参加できます。また、インストール可能な他の数十の公開デモをこちらで利用することもできます。

セットアップ

まだアカウントをお持ちでない場合は、クレジットカードや電話番号なしで、Databricks Free Editionにこちらからサインアップできます。Databricks Free Editionでは、実験や学習のために、Databricksを永続的に無料で利用できます。注意: Free Editionは個人利用を目的としており、本番環境や商用利用には適していません。ビジネス用の本番グレードで完全にサポートされたデータプラットフォームをお探しの場合は、Databricksにこちらまでお問い合わせください。

開始する前に、もう1つヒントがあります。エラーが発生したり、途中で行き詰まったりした場合は、Databricks Assistant（右上隅の紫色のひし形）が、デバッグ、SQLの生成、概念の説明に非常に役立ちます。

セットアップが完了したら、始めましょう！

1. クッキーベーカリー（シミュレーション）の分析

簡単なウォームアップから始めましょう。中小企業にとって、事業運営やトレンドを把握することは成功のために不可欠です。中小企業のオーナーは、最も売れている商品を見つける、最も業績の良い店舗はどこかを知る、来年の売上予測を立てるなどのインサイトを求めているかもしれません。

すべてのDatabricksワークスペースには、「samples」カタログの下に事前にインストールされたサンプルデータセットが用意されており、新機能の実験に最適です。特に、「bakehouse」というサプライヤー、レビュー、トランザクションのシミュレーションデータセットは、「私たちの」中小企業の業績についてストーリーを語る練習に最適です。このデータセットは、Databricksの左側メニューサイドバーにある「catalog」部分で見つけることができます。これはすべてのワークスペースの中核であり、分析可能なデータセットを探索できます。

この場合、「samples」カタログと「bakehouse」スキーマを展開してデータを見つけることができます。

始めるには、ワークスペースの左上隅にある「new->Dashboard」をクリックして新しいダッシュボードを作成します。次に、ダッシュボードの「data」タブで、以下のSQLを使用するか（またはUIテーブルピッカーから選択）、テーブルのいずれかを選択します。

ダッシュボードキャンバス上で、明確なストーリーを伝えるのに役立つビジュアライゼーションとテキストを追加します。たとえば、構成（製品構成など）には円グラフ、トレンド（売上推移など）には折れ線グラフ、総トランザクション数や収益などの主要な数値を強調するにはカウンターを使用できます。

Bakehouseデータセットには、シミュレーションされた顧客レビューも含まれているため、AI_Query()関数を使用してAI支援分析を試すのに最適な場所です。これは、各レビューを肯定的、否定的、または中立的と分類するAIモデルをデータに直接適用して新しいデータセットを作成します。プロンプトを変更して、各レビューの自動返信を生成することもできます（さまざまなトーンで試すこともできます）。

次のレベルのチャレンジ: ai_classify()やai_gen()のような別のAI関数を適用する方法を見つけられますか？ダッシュボードのコメントやレビューへの自動返信を生成するためにAI_Query()プロンプトを調整できますか？あるいは、Kasey UhlenhuthがData & AI Summit 2024で行ったように、トップレビューに基づいてマーケティングコピーを自動生成するエージェントを構築するところまで行けますか？

2. 家賃を予測する

住宅データは、分析能力を試すのに適した分野です。気象や金利など、多くの強い相関関係が見つかり、公式（多くの場合政府）ソースから高品質なデータが多数公開されています。例として、Zillow Researchのオープンデータセットは優れた米国住宅データを提供し、英国政府のOffice for National Statisticsは高品質な国勢調査データを提供しています。一般的な分析の質問は、「どの州/県が最も高い成長率を記録しているか？」、「どこで最も新しい建設が行われているか？」、「住宅コストと金利の関係は？」などです。

私のお気に入りは、カナダ政府のOpen Governmentポータルにある「賃貸募集価格」データセットです。これには、年、都市圏、寝室数などの属性を持つ広告賃貸料のセットが含まれています。データが行ごとに年が個別の行としてレイアウトされているため、フィルタリングと分析が容易であることに気づきました。

データをワークスペースに取り込むには、ポータルからデータセットをダウンロードし、zipファイルからデータファイル（「46100092.csv」）を解凍します。次に、ワークスペースのホームページにある「upload data」ボタンをクリックして、CSV形式をテーブルに解析する簡単なウィザードを実行します。

デフォルトでは、結果のテーブルには技術的なファイル名と同じ名前が付けられます。そのため、'Housing_data'のようなわかりやすい名前に変更する機会に注意してください。作成したら、ワークスペースの「catalog」セクションを使用してそれを見つけ、データセットのスケルトンが事前に入力されたダッシュボードを作成するために「create」ボタンを使用します。

スターターダッシュボードを強化するために、分析にコンテキストと彩りを加える他のスライスや比較を追加できます。他の都市の平均家賃や成長率を比較したり、1ベッドルームユニットと他の住宅タイプとの比率を調べたりすることを検討してください。最も家賃の高い都市はどこですか？ユーザーが特定の都市や関心のあるユニットタイプに絞り込めるように、フィルターを追加することも忘れないでください。

場合によっては、異なるSQLクエリを作成したり、他のデータを取り込んだりする必要があるかもしれません。Databricks Assistant（右上隅の紫色のひし形）は役立つことを覚えておいてください。私の例では、マップビューを作成するために都市の緯度/経度を追加するようにAssistantに依頼しました。

予測を生成するには、まずx軸を参照日付、y軸を希望価格（値）とする通常の折れ線グラフから始めます。次に、サイドバーにある「予測を追加」ボタンを探します。これにより、Databricksの「AI_Forecast()」SQL関数に基づいた新しい予測ビジュアライゼーションがダッシュボードキャンバスに追加されます。この関数は時系列MLモデルを呼び出し、データを適用します。このベータ版機能はまだ進化中ですが（フィードバックをお待ちしています！）、実世界のユースケースにMLを適用するための出発点として役立ちます。Databricks Assistantは、新しいデータセットのカスタムSQLを作成するのに常に役立つことも覚えておいてください。

次のレベルのチャレンジ：AI_Forecast()は迅速な参照予測に優れていますが、より正確な予測には、他のデータポイントを組み合わせ、カスタム機械学習アルゴリズムを適用することが含まれます。その完全なソリューション（この場合は風力タービンのメンテナンス予測）がどのようなものになるかは、Databricksデモサイトで確認できます。

3. 映画撮影を見つける

頻繁に映画のロケ地として使われる都市では、歴史的建造物や絵のように美しい町の周りで、撮影用トラック、制作アシスタント、小さな監督ブースに偶然遭遇するかもしれません。映画制作がこれらの撮影のために公共の土地を封鎖できるようになる前に、撮影許可を取得する必要があります。これは政府機関によって公開データセットとして公開されます。

将来の許可は含まれていませんが、この種のデータセットの最も優れた例の1つは、ニューヨーク市のオープンデータポータルにある映画許可証のリストです。撮影の種類（ニュース、長編映画、シリーズなど）と撮影の開始および終了時間、区、郵便番号がリストされています。データセットをスライスしてダイスすることで、最も一般的な場所を特定し、スターが仕事をしている様子を垣間見ることができるかもしれません。

前の例と同様に、まずデータをDatabricksにロードする必要があります。NYCのオープンデータポータルでは、.csvを簡単にダウンロードし、前の演習で行ったようにUIの「データのアップロード」からインポートできます。ただし、このデータセットの興味深い機能の1つは、毎日更新されることです。プログラムでデータを取得してスケジュールで実行できるようにしましょう。これは、エンタープライズコンテキストでアプローチする方法に非常に近いです。

Databricksを使用すると、Notebook経由で必要なPythonを簡単に実行できます。この場合、Notebookを作成し（左上の「新規」->「Notebook」）、以下のコードをコピー＆ペーストして実行すると、ワークスペースにCSVがダウンロードされ、テーブルに解析されます。問題が発生した場合は、いつでもDatabricks Assistant（紫色のひし形経由）を使用して支援を求めることができることを忘れないでください。

この最初のコードは、ボリューム（任意のファイルを保存する場所）を作成し、Python URLLibライブラリを使用してデータセットをダウンロードします。カタログ+スキーマ名を自由にスタイルに合わせて変更してください！

この2番目のコードは、生のファイルを取得し、ダッシュボードで使用できる「film_permits」という名前のテーブルを作成します。必要に応じて、Assistantに説明を求めてみてください。

正常に動作した場合、ワークスペースのカタログ部分を介してテーブルを見つけることができるか、Notebookのデータエクスプローラーサイドバー（3つの形状アイコン）を開き、databricks_demoカタログとopen_nycスキーマを展開してテーブルを表示できます。すでに開いていた場合は、「更新」ボタンを押す必要がある場合があります。

リマインダー：コードで問題が発生した場合は、コードアプローチを中止し、ポータルからダウンロードしてワークスペースのホームページの「データのアップロード」ボタンからアップロードすることで、データを手動でインポートできることを忘れないでください。

テーブルがロードされたら、スライスしてダイスし、ストーリーを提示する時間です！折れ線グラフでトレンドを確認したいかもしれません。シリーズまたは長編映画の撮影が多いですか？それは時間とともに変化していますか？または、棒グラフや円グラフで分布を考えるかもしれません。ニュースやコマーシャルの撮影場所は、映画と多く重なりますか？

マップビズを構築しようとすると、映画許可証には郵便番号がありますが、AI/BIダッシュボードのマップビジュアライゼーションには緯度と経度の属性が必要であることがわかるかもしれません。幸いなことに、郵便番号と座標のマッピングデータセットはオンラインで簡単に見つけることができ、Assistantを使用してダッシュボードにインポートできます。このオープンデータセット（クリエイティブコモンズライセンス）をダウンロードし、ダッシュボードに新しいデータセットを作成して、Assistantに結合クエリを生成するように依頼できます。私が使用したプロンプトは次のとおりです（特定のカタログとテーブル名に合わせて調整してください）：

そして、最終的なダッシュボードがどのようになるかのバージョンは次のとおりです！

チャレンジ：OpenNYCの他のどのようなデータ（タクシーやライドシェアの量など）をオーバーレイできますか？重要なランドマークは？政治活動をしている場合、あなたの目的をさらに進める分析はありますか？他の都市や州も、シアトルの建物のエネルギーベンチマーク排出量データセットのように、あなたに近いオープンデータセットを提供しています。

Databricksネイティブの「ST関数」を使用して、最も近い他のポイントを検索するために、地理空間分析を拡張できますか？

まとめ

分析の私のお気に入りの部分は、好奇心を追求する中で得られるひらめきの瞬間です。これらの例がいくつかのアイデアを spark させることを願っています。さらに学びたい場合や、履歴書に載せられる認定資格の取得を目指す場合は、Databricksの無料の自己ペース型AI/BI概要トレーニングコースをこちらで、より詳細な作成者トレーニングコースをこちらで受講できます。または、無料のライブオンボーディングクラスに参加してください！Databricksのドキュメントサイトも、特定の機能のリファレンスとして役立ちます。

このブログの例のダッシュボードをインポートしたい場合は、ソースをこのリポジトリで確認できます。AI/BIダッシュボードの仕様は単なるjsonなので、ファイルをダウンロードして、ダッシュボードのホームページの「インポート」ドロップダウンからインポートしてください。

最後に、Databricks Demo Centerには、ML、ダッシュボード作成、エージェント型AIまで、インストール可能なデモが多数用意されています。Databricks Demo Centerで新しいものを試したり、作成したものをDatabricksコミュニティでお気に入りのソーシャルメディアプラットフォームで共有したりしてください。ハッピーハッキング！

Databricks Free Editionで構築を開始する

クレジットカード不要の無料ワークスペースを起動し、これらのプロジェクトをポートフォリオに対応したダッシュボードに今日から変えましょう。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事