データエンジニアリングとストリーミングの最新動向 - 2024年1月
Databricksは このほど 、当社が開拓したレイクハウス・アーキテクチャの自然な進化形であるデータ・インテリジェンス・プラットフォームを発表しました。 データ・インテリジェンス・プラットフォームとは、組織固有のデータを深く理解し、誰でも簡単に必要なデータにアクセスし、ターンキー方式のカスタムAIアプリケーションを迅速に構築できるようにする、単一の統合プラットフォームという考え方です。 データインテリジェンスプラットフォーム上に構築されたすべてのダッシュボード、アプリ、およびモデルが適切に機能するには信頼できるデータが必要であり、信頼できるデータには最高のデータエンジニアリングプラクティスが必要です。 Databricksは 、 Spark 、 Delta Lake 、 ワークフロー 、 Delta Live Tables 、そして Databricks Assistantの ような新しいAI機能を通じて、データエンジニアにベストプラクティスを提供してきました。 AIの時代には、 データエンジニアリングのベス
Databricksワークフローにおけるコントロールフロー強化のお知らせ！
多段階のデータやAIプロセス、パイプラインをオーケストレーションする上で重要な要素は、制御フローの管理です。 このため、 Databricks Workflowsの コントロールフロー機能に投資を続けています。この機能により、お客様は複雑なワークフローをより適切に制御し、高度なオーケストレーションシナリオを実装することができます。 数ヶ月前、私たちは ワークフローにモジュール式のオーケストレーションを 定義する機能を導入しました。これにより、お客様は複雑なDAGを分解して、より良いワークフロー管理、再利用性、チーム間でのパイプラインの連鎖を実現することができます。 本日、Lakehouseのオーケストレーションにおける次のイノベーションを発表できることを嬉しく思います。 タスクの条件付き実行 条件実行は、"If/else 条件タスクタイプ" と、"Run if dependencies" の2つの機能に分けることができます。これらを組み合わせることで、ユーザーはワークフローで分岐ロジックを作成し、パイプライン内の
Databricks + Arcion： Lakehouseへのリアルタイムエンタープライズデータレプリケーション
我々は、リアルタイム・データ・レプリケーション・テクノロジーのリーディング・プロバイダーである Arcion社の買収を完了 したことを発表できることを嬉しく思 う。 Arcionの機能により、DatabricksはさまざまなデータベースやSaaSアプリケーションからデータを複製して取り込むネイティブソリューションを提供できるようになり、顧客はデータから価値とAI主導の洞察を生み出すという実際の作業に集中できるようになる。 Arcionのチームとは、Databricksのパートナーとしてだけでなく、 Databricks Venturesの 投資先企業としても、長年にわたって緊密に協力してきました。 この発表により、我々は正式にチームをDatabricksファミリーに迎え入れることになります。 リアルタイムのデータ取り込みとデータベースの複製 Databricksの使命は、あらゆる組織のためにデータとAIを民主化することです。 Databricks Lakehouse Platformは、データ、アナリティクス、AI
Data + AI Summit 2023におけるデータエンジニアリングとストリーミングの最新情報
翻訳：Junichi Maruyama. - Original Blog Link 今日は木曜日で、2023年データ＋AIサミットからの発表の週を終えたばかりです。今年のサミットのテーマ は「ジェネレーションAI」であり、LLM、レイクハウスアーキテクチャ、そしてデータとAIにおけるすべての最新イノベーションを探求するテーマでした。 最新のジェネレーティブAIのイノベーションを支えるのは、最新のデータエンジニアリングスタックです。 最新のジェネレーティブAIのイノベーションを支えるのは、Delta Lake、Spark、Databricks Lakehouse Platformが提供する最新のデータエンジニアリングスタックです。Databricks Lakehouseは、 Delta Live Tables や Databricks Workflows などのソリューションにより、高度なデータパイプラインの構築とオーケストレーションの課題に取り組むデータエンジニアを支援する高度な機能を提供します。 このブログ記事で
Databricksのワークフローを利用したLakehouseのオーケストレーション
Original: Lakehouse Orchestration with Databricks Workflows 翻訳: junichi.maruyama 業界を問わず、組織はレイクハウス・アーキテクチャを採用し、すべてのデータ、アナリティクス、AIのワークロードに統一プラットフォームを使用しています。ワークロードを本番環境に移行する際、組織はワークロードのオーケストレーションの方法が、データとAIソリューションから引き出すことのできる価値にとって重要であることに気づいています。オーケストレーションが正しく行われれば、データチームの生産性を向上させ、イノベーションを加速させることができ、より良いインサイトと観測性を提供でき、最後にパイプラインの信頼性とリソース利用を改善することができる。 Databricks Lakehouse Platformの活用を選択したお客様にとって、オーケストレーションがもたらすこれらの潜在的なメリットはすべて手の届くところにありますが、Lakehouseとうまく統合されたオーケ