テックトーク：Delta Lake の ACID トランザクション - Delta Lake 入門

Delta Lakeを使い始めるために必要なステップバイステップのガイダンスは、 O'Reillyの新しい電子書籍の早期プレビュー を入手してご確認ください。

Data + AI オンラインミートアップの一環として、（Regeneron 社からゲストを迎えての）ゲノミクスから、機械学習パイプライン、GPU で高速化された機械学習、Tableau のパフォーマンス最適化まで、さまざまなトピックを取り上げてきました。重要なトピック分野の 1 つが、レイクハウスの探求です。

レイクハウスというアーキテクチャパターンの台頭は、データレイクでACIDトランザクションや従来のデータウェアハウスのワークロードの他の機能をサポートできるようにした技術革新に基づいています。

「Delta Lake入門」テックトークシリーズでは、Delta Lakeの技術的基盤（Apache Spark™）、拡張性の高いデータパイプラインの構築、ストリーミングとバッチを統合したワークロードへの対応、Delta LakeとMLflowによるデータサイエンスの強化について解説します。さらに、Delta Lakeのエンジニアと共にその誕生の背景を舞台裏から探ります。

Delta Lake で Apache Spark™ を改善

Apache Sparkは、ビッグデータ向けの最も有力な処理フレームワークです。Delta LakeはSparkに信頼性を追加することで、アナリティクスやmachine learningの取り組みでAWS S3、Azure Storage、Google Cloud Storageなどの低コストのクラウドオブジェクトストレージに保存された、高品質で信頼性の高いデータへすぐにアクセスできるようにします。このセッションでは、Delta Lake を使用してデータレイクのデータ信頼性を高める方法について学習します。

データエンジニアリングパイプラインの簡素化とスケーリング

一般的なデータエンジニアリングパイプラインアーキテクチャでは、データに段階的に構造を追加するために、さまざまな品質レベルに対応するテーブルが使用されます。これらは、データ取り込み（「ブロンズ」テーブル）、変換/特徴量エンジニアリング（「シルバー」テーブル）、集計テーブル/machine learningトレーニングまたは予測（「ゴールド」テーブル）です。これらのテーブルをまとめて「マルチホップ」アーキテクチャと呼びます。これにより、データエンジニアは、「信頼できる唯一の情報源」である生データからすべてが流れるパイプラインを構築できます。このセッションでは、データエンジニアリング パイプラインのアーキテクチャ、シナリオ、ベストプラクティス、Delta Lake によるデータエンジニアリング パイプラインの強化方法、およびデータエンジニアリング パイプラインを構築するための Delta Lake の簡単な導入方法について学びます。

ラムダを超えて: Deltaアーキテクチャの紹介

ラムダアーキテクチャは、バッチシステムとストリーミングシステムによってレコードが並行して処理される一般的な手法です。その結果はクエリー時に結合され、完全な回答を提供します。Delta Lakeの登場により、多くの顧客が、データが到着するたびに処理を行うシンプルな継続的データフローモデルを採用するようになりました。このアーキテクチャを「Delta アーキテクチャ」と呼びます。このセッションでは、継続的なデータ フロー モデルを採用する上での主要なボトルネックと、Delta アーキテクチャがそれらの問題をどのように解決するかについて説明します。

Delta LakeとMLflowによるデータサイエンスのためのデータ準備

データサイエンスのイニシアチブを計画する際には、データ分析の領域全体を包括的に捉える必要があります。データエンジニアリングは、信頼性の高い高品質なデータをタイムリーに提供するのに役立つ、データサイエンスの重要な実現要因です。 このセッションでは、データサイエンスのライフサイクル、最新のデータエンジニアリングの基本原則、Delta Lake を使用して信頼性の高いデータをアナリティクスに利用できるようにする方法、データレイクを強化するために Delta Lake を簡単に導入する方法、データサイエンスを可能にするためにデータ基盤に Delta Lake を組み込む方法について学びます。

Delta Lake誕生の舞台裏

デベロッパーアドボケイトのDenny Leeが、DatabricksのソフトウェアエンジニアであるBurak Yavuzにインタビューし、Delta Lakeチームの意思決定プロセスや、今日のアーキテクチャが設計、構築、実装された理由について話を聞きます。このセッションでは、チームが直面した技術的な課題、それらの課題の解決方法、そして将来の計画について学びます。

無料トライアル

この全シリーズを視聴して、今すぐDelta Lakeへのデータ格納を始めましょう。

次のステップ

Delta Lakeに関する知識を深めたい場合は、私たちの技術トークシリーズDiving into Delta Lakeをご覧ください。Burak Yavuz、Andrea Neumann、Tathagata “TD” Das、デベロッパーアドボケイトのDenny LeeをはじめとするDelta Lakeエンジニアリングチームのガイドの下、Delta Lakeの内部実装について学びます。

今後のオンライン ミートアップに関する情報をご希望の場合は、meetup.com の Data + AI Online Meetup にご参加ください。

Delta Lake の詳細
信頼性の高いデータレイクの構築を可能にする人気のオープンソース技術、Delta Lake の内部構造を詳しく見ていきましょう。

動画を見る