dbtとDatabricksを用いてコスパの良いリアルタイムデータ処理を行う
ビジネスが成長するにつれ、データ量はGBからTB（またはそれ以上）に拡大し、レイテンシー要求は数時間から数分（またはそれ以下）になり、ビジネスに新鮮な洞察を提供するためのコストはますます高くなります。これまでPythonやScalaのデータエンジニアは、このような需要に応えるためにストリーミングを利用し、新しいデータをリアルタイムで効率的に処理してきましたが、SQLベースのdbtパイプラインを拡張する必要があるアナリティクスエンジニアには、このような選択肢はありませんでした。 しかし今は違います！このブログでは、Databricks の新しいストリーミングテーブルとマテリアライズドビューを使用して、SQL と dbt のシンプルさで新鮮なリアルタイムのインサイトをビジネスに提供する方法を説明します。 背景 2023 Data + AI Summitでは、 Databricks SQLにストリーミングテーブルとマテリアライズドビ ューを導入 しました。この素晴らしい機能により、Databricks SQL ユーザーは
Databricks + Arcion： Lakehouseへのリアルタイムエンタープライズデータレプリケーション
我々は、リアルタイム・データ・レプリケーション・テクノロジーのリーディング・プロバイダーである Arcion社の買収を完了 したことを発表できることを嬉しく思う。 Arcionの機能により、DatabricksはさまざまなデータベースやSaaSアプリ ケーションからデータを複製して取り込むネイティブソリューションを提供できるようになり、顧客はデータから価値とAI主導の洞察を生み出すという実際の作業に集中できるようになる。 Arcionのチームとは、Databricksのパートナーとしてだけでなく、 Databricks Venturesの 投資先企業としても、長年にわたって緊密に協力してきました。 この発表により、我々は正式にチームをDatabricksファミリーに迎え入れることになります。 リアルタイムのデータ取り込みとデータベースの複製 Databricksの使命は、あらゆる組織のためにデータとAIを民主化することです。 Databricks Lakehouse Platformは、データ、アナリティクス、AI
Databricksのワークフローを利用したLakehouseのオーケストレーション
Original: Lakehouse Orchestration with Databricks Workflows 翻訳: junichi.maruyama 業界を問わず、組織はレイクハウス・アーキテクチャを採用し、すべてのデータ、アナリティクス、AIのワークロードに統一プラットフォームを使用しています。ワークロードを本番環境に移行する際、組織はワークロードのオーケストレーションの方法が、データとAIソリューションから引き出すことのできる価値にとって重要であることに気づいています。オーケストレーションが正しく行われれば、データチームの生産性を向上させ、イノベーションを加速させることができ、より良いインサイトと観測性を提供でき、最後にパイプラインの信頼性とリソース利用を改善することができる。 Databricks Lakehouse Platformの活用を選択したお客様にとって、オーケストレーションがもたらすこれらの潜在的なメリットはすべて手の届くところにありますが、Lakehouseとうまく統合されたオーケ
Databricks、dbt Labs、Fivetranと一緒にレイクハウスでモダンデータスタックを構築する5つの理由
Original : Five Reasons to Build your Modern Data Stack on the Lakehouse with Databricks, dbt Labs and Fivetran translate by junichi.maruyama 数年前、クラウドベースのモダンデータ・プラットフォームによって、アナリティクスとそれを支えるツールが実務者の手に渡るようになり、モダンデータ・スタック（MDS）が登場しました。オンプレミスで慎重にサイズを調整したHadoopクラスタの時代は終わり、瞬時に拡張でき、標準SQLを使用して新世代のETLおよびBIツールに接続できるデータウェアハウスに取って代わられました。レイクハウスパターンは、ここ数年で登場した最新の、そしておそらく最も強力なパターンです。データウェアハウスのシンプルさと拡張性、データレイクのオープン性とコスト面の優位性を一体化させたものです。重要なのは、レイクハウスパターンは厳密に加算型であることです。データ実務家として
Visual Studio CodeからDatabricks上でSQLクエリを実行する
Original Blog : Run SQL Queries on Databricks From Visual Studio Code 翻訳： junichi.maruyama 本日、人気のSQLTools拡張機能の プレビュードライバ を使用して、Visual Studio CodeからDatabricks上のSQLクエリを実行できるようになったことをお知らせします。このプレビュー・リリースは、先日公開された VS CodeのDatabricks拡張機能 を補完するもので、これによりユーザーはDatabricksが管理するコンピュート上でローカルに開発したコードを同期して実行することができます。 Databricks...
Databricks Workflows によるレイクハウスの本番 dbt プロジェクトのオーケストレーション
信頼性の高いレイクハウスのオーケストレーターである Databricks Workflows が、パブリックプレビューで dbt プロジェクトのオーケストレーションをサポートするようになったことをお知らせします。このプレビューでは、データチームがノー トブックから ML モデルまで、レイクハウスの全ての機能とともに dbt プロジェクトを調整することができます。この機能により、オープンソース dbt のユーザーは、SQL を使ったデータ変換や、レイクハウス全体のデータおよび ML パイプラインの監視と保守を簡単に行うことができます。 ジョブが実行されると、dbt プロジェクトが Git リポジトリ から取得され、単一ノードのクラスタが構築され、そこに dbt-core とプロジェクトの依存関係がインストールされます。dbt で生成された...
Databricks SQL の新機能「クエリプロファイル」でクエリを理解する
Databricks SQL は、 Databricks のレイクハウスプラットフォーム における SQL のデータウェアハウス機能とファーストクラスのサポートを提供します。これにより、アナリストは従来のクラウドデータウェアハウスよりもわずかなコストで新たな知見を迅速に発見し、共有できるようになります。 このブログは、Databricks SQL に関するコンテンツシリーズの一部です。Databricks SQL の性能、使いやすさ、ガバナンスにおける重要な機能について解説します。以前の ブログ では、Databricks SQL の強化された最新のユーザーエクスペリエンスについてご紹介しました。今回は、ユーザーがクエリとクエリの性能を理解するのに役立つ改善点について解説します。 実行時のボトルネックを特定してクエリを高速化 Databricks SQL は、自動的なクエリの高速化に優れています。事実、2021年11月に 世界記録 を更新しました。しかし、こういった技術革新にもかかわらず、クエリが予期せず遅いとい