テックトーク：Delta Lake の ACID トランザクション - Delta Lake 入門
Delta Lakeを使い始めるために必要なステップバイステップのガイダンスは、 O'Reillyの新しい電子書籍の早期プレビュー を入手してご確認ください。
Data + AI オンラインミートアップの一環として、（Regeneron 社からゲストを迎えての）ゲノミクスから、機械学習パイプライン、GPU で高速化された機械学習、Tableau のパフォーマンス最適化まで、さまざまなトピックを取り上げてきました。重要なトピック分野の 1 つが、レイクハウスの探求です。
レイクハウスというアーキテクチャパターンの台頭は、データレイクでACIDトランザクションや従来のデータウェアハウスのワークロードの他の機能をサポートできるようにした技術革新に基づいています。
「Delta Lake入門」テックトークシリーズでは、Delta Lakeの技術的基盤（Apache Spark™）、拡張性の高いデータパイプラインの構築、ストリーミングとバッチを統合したワークロードへの対応、Delta LakeとMLflowによるデータサイエンスの強化について解説します。さらに、Delta Lakeのエンジニアと共にその誕生の背景を舞台裏から探ります。
Delta Lake で Apache Spark™ を改善
Apache Sparkは、ビッグデータ向けの最も有力な処理フレームワークです。Delta LakeはSparkに信頼性を追加することで、アナリティクスやmachine learningの取り組みでAWS S3、Azure Storage、Google Cloud Storageなどの低コストのクラウドオブジェクトストレージに保存された、高品質で信頼性の高いデータへすぐにアクセスできるようにします。このセッションでは、Delta Lake を使用してデータレイクのデータ信頼性を高める方法について学習します。
データエンジニアリングパイプラインの簡素化とスケーリング
一般的なデータエンジニアリングパイプラインアーキテクチャでは、データに段階的に構造を追加するために、さまざまな品質レベルに対応するテーブルが使用されます。これらは、データ取り込み（「ブロンズ」テーブル）、変換/特徴量エンジニアリング（「シルバー」テーブル）、集計テーブル/machine learningトレーニングまたは予測（「ゴールド」テーブル）です。これらのテーブルをまとめて「マルチホップ」アーキテクチャと呼びます。これにより、データエンジニアは、「信頼できる唯一の情報源」である生データからすべてが流れるパイプラインを構築できます。このセッションでは、データエンジニアリング パイプラインのアーキテクチャ、シナリオ、ベストプラクティス、Delta Lake によるデータエンジニアリング パイプラインの強化方法、およびデータエンジニアリング パイプラインを構築するための Delta Lake の簡単な導入方法について学びます。
ラムダを超えて: Deltaアーキテクチャの紹介
ラムダアーキテクチャは、バッチシステムとストリーミングシステムによってレコードが並行して処理される一般的な手法です。その結果はクエリー時に結合され、完全な回答を提供します。Delta Lakeの登場により、多くの顧客が、データが到着するたびに処理を行うシンプルな継続的データフローモデルを採用するようになりました。このアーキテクチャを「Delta アーキテクチャ」と呼びます。このセッションでは、継続的なデータ フロー モデルを採用する上での主要なボトルネックと、Delta アーキテクチャがそれらの問題をどのように解決す るかについて説明します。
Delta LakeとMLflowによるデータサイエンスのためのデータ準備
データサイエンスのイニシアチブを計画する際には、データ分析の領域全体を包括的に捉える必要があります。データエンジニアリングは、信頼性の高い高品質なデータをタイムリーに提供するのに役立つ、データサイエンスの重要な実現要因です。 このセッションでは、データサイエンスのライフサイクル、最新のデータエンジニアリングの基本原則、Delta Lake を使用して信頼性の高いデータをアナリティクスに利用できるようにする方法、データレイクを強化するために Delta Lake を簡単に導入する方法、データサイエンスを可能にするためにデータ基盤に Delta Lake を組み込む方法について学びます。
Delta Lake誕生の舞台裏
デベロッパーアドボケイトのDenny Leeが、DatabricksのソフトウェアエンジニアであるBurak Yavuzにインタビューし、Delta Lakeチームの意思決定プロセスや、今日のアーキテクチャが設計、構築、実装された理由について話を聞きます。このセッションでは、チームが直面した技術的な課題、それらの課題の解決方法、そして将来の計画について学びます。
無料トライアル
この全シリーズを視聴して、今すぐDelta Lakeへのデータ格納を始めましょう。
次のステップ
Delta Lakeに関する知識を深めたい場合は、私たちの技術トークシリーズDiving into Delta Lakeをご覧ください。Burak Yavuz、Andrea Neumann、Tathagata “TD” Das、デベロッパーアドボケイトのDenny LeeをはじめとするDelta Lakeエンジニアリングチームのガイドの下、Delta Lakeの内部実装について学びます。
今後のオンライン ミートアップに関する情報をご希望の場合は、meetup.com の Data + AI Online Meetup にご参加ください。
