Databricks Auto Loader（cloudfile）

Auto Loaderは、クラウドストレージに新しいデータファイルが到着すると、追加の設定なしで効率的にインクリメンタルに処理します。このデモでは、Auto Loaderの動作と主な機能をご紹介します：

• インクリメンタルでコスト効率的な取り込み（不必要なリスト作成や状態管理を削除）
• シンプルで耐久性のある操作：チューニングや手動コードは必要ありません
• 数十億のファイルにスケーラブル
• スキーマ推論とスキーマ進化は、ほとんどの形式（CSV、JSON、Avro、画像など）で箱から取り扱われます。

デモをインストールするには、無料のDatabricksワークスペースを取得し、Pythonノートブックで以下の2つのコマンドを実行してください。

%pip dbdemosをインストールする

import dbdemos
dbdemos.install('auto-loader')

Dbdemosは、ワークスペースに完全なDatabricksデモをインストールするPythonライブラリです。Dbdemosはノートブック、Delta Live Tablesパイプライン、クラスター、Databricks SQLダッシュボード、ウェアハウスモデルをロードして開始します... dbdemosの使い方をご覧ください

DbdemosはGitHubプロジェクトとして配布されています。

詳細については、GitHubのREADME.mdファイルをご覧いただき、ドキュメンテーションに従ってください。
Dbdemosはそのまま提供されています。詳細はライセンスと通知をご覧ください。
Databricksは、dbdemosおよび関連資産に対して公式のサポートを提供していません。
問題が発生した場合は、チケットを開いてデモチームがベストエフォートで対応します。