メインコンテンツへジャンプ
<
ページ 11
>

CARTOとDatabricksによるフリート最適化

Original : Fleet optimization with CARTO & Databricks 翻訳: junichi.maruyama 近年、効率的な配送は企業にとってますます重要になってきており、特に物流企業や独自の流通網を持つ消費財(CPG)業界の企業にとって重要な課題となっています。 これらの企業にとって大きな課題は、輸送ルートを最適化し、コストを最小化しながらタイムリーな配送を実現することです。そのためには、距離、交通量、道路状況、使用する輸送手段の種類(トラック、鉄道、航空など)などの要素を考慮する必要があります。さらに、CPGやロジスティクス企業は、輸送手段の選択による環境への影響を考慮し、カーボンフットプリントの削減を目指さなければなりません。燃料価格の上昇と競争の激化により、これらの企業にとって、より持続可能性を高め、輸送の問題に対処し、全体的な配送コストを削減するための明確な計画を策定することが極めて重要となっています。 ルーティングソフトは、企業がこれらの課題に取り組む上

Databricks Fleet Clusters for AWSのご紹介

Original : Introducing Databricks Fleet Clusters for AWS 翻訳: junichi.maruyama この度、Databricks FleetクラスタのAWSでの一般提供開始を発表します。 フリートクラスタとは? Databricks Fleet Clusters は、Databricksがインテリジェントに最適化し、プロセスを自動化することで、手動でインスタンスを選択する手間をかけずにSpot価格の潜在能力を引き出します。Databricksの1クラスタ内の複数のインスタンスにまたがるフレックス機能により、可用性を確保しながら、AWS Spotインスタンスを可能な限り低コストで利用することが可能です。クラウドインフラの複雑な管理を回避し、本当に重要なこと、つまりデータドリブンなインサイトに時間を費やすことができます。 Databricksのフリートクラスタは、AWSのお客様向けに新しいフリートインスタンスファミリーのセットを導入します:m-fleet、md-

Unity Catalogを通じたデルタシェアリングで構造化ストリーミングを使う

Original : Using Structured Streaming with Delta Sharing in Unity Catalog 翻訳: junichi.maruyama この度、Azure、AWS、GCPにおいて、Structured StreamingをDelta Sharingで使用するためのサポートが一般提供(GA)されたことをお知らせします!この新機能により、Databricks Lakehouse Platform上のデータ受信者は、 Unity Catalog を通じて共有されたDelta Tableからの変更をストリーミングできるようになります。 データプロバイダーは、この機能を活用することで、Data-as-a-Service...

Unity Catalogにおけるデータ権限モデルとアクセス制御のためのヒッチハイカーズガイド

The Hitchhiker's Guide to data privilege model and access control in Unity Catalog 翻訳: junichi.maruyama データの量、速度、多様性が増すにつれ、組織は、中核となるビジネス成果を適切に満たすために、確固たるデータガバナンスの実践にますます頼るようになっています。 Unity Catalog は、Databricks Lakehouseを支えるデータとAIのためのきめ細かなガバナンス・ソリューションです。データアクセスを管理・監査するための一元的なメカニズムを提供することで、企業のデータ資産のセキュリティとガバナンスを簡素化することができます。 Unity Catalogがファイル、テーブルの権限モデルを統一し、すべての言語をサポートするようになる以前、お客様は レガシーワークスペースレベルのテーブルACL(TACL)...

新しいナビゲーションUIで目的のものを見つけましょう

Original: Find what you seek with the new navigation UI 翻訳: saki.kitaoka Databricksの新しいUIがリリースされ、ナビゲーションがより簡単になります。 顧客はよりシンプルなナビゲーションを求めています。 Databricksでは、顧客中心の文化があります。ユーザーからのフィードバックを真摯に受け止め、Databricksでのナビゲーション経験の改善を求めています。過去数か月間、多くの顧客と共に問題や改善されたナビゲーション経験を理解しました。 ユーザーはタスクごとにクリック数を減らしたい 話し合いを通じて、ナビゲーション改善に関連する2つの主題が見られました。まず、ワークスペース内でA地点からB地点への移動を容易にしたいとの要望がありました。経験豊富なユーザーや新規ユーザーにとって、目的地までのクリック数が多すぎる場合、時間がかかります。そのため、上部に統合検索を配置し、よく使われるタスクのための「はじめに」セクションを再設計しました

Databricks SQLのキャッシングを理解する: UIキャッシュ、リザルトキャッシュ、ディスクキャッシュ

Original: Understanding Caching in Databricks SQL: UI, Result, and Disk Caches 翻訳: junichi.maruyama キャッシングは、同じデータを何度も再計算またはフェッチする必要性を回避することで、データウェアハウスシステムのパフォーマンスを向上させるために不可欠な技術です。Databricks SQLでは、キャッシングによってクエリの実行を大幅に高速化し、ウェアハウスの使用量を最小限に抑えることができるため、コストの削減とリソースの効率的な利用が可能になります。 この記事では、キャッシングの利点を探り、DBSQLの3種類のキャッシング:ユーザー インターフェイス キャッシュ、リザルトキャッシュ(ローカルおよびリモート)、ディスク キャッシュ(旧デルタ キャッシュ)を掘り下げて説明します。 キャッシングのメリット キャッシングは、データウェアハウスにおいて、以下のような多くの利点をもたらします: スピード...

Databricks、dbt Labs、Fivetranと一緒にレイクハウスでモダンデータスタックを構築する5つの理由

Original : Five Reasons to Build your Modern Data Stack on the Lakehouse with Databricks, dbt Labs and Fivetran translate by junichi.maruyama 数年前、クラウドベースのモダンデータ・プラットフォームによって、アナリティクスとそれを支えるツールが実務者の手に渡るようになり、モダンデータ・スタック(MDS)が登場しました。オンプレミスで慎重にサイズを調整したHadoopクラスタの時代は終わり、瞬時に拡張でき、標準SQLを使用して新世代のETLおよびBIツールに接続できるデータウェアハウスに取って代わられました。レイクハウスパターンは、ここ数年で登場した最新の、そしておそらく最も強力なパターンです。データウェアハウスのシンプルさと拡張性、データレイクのオープン性とコスト面の優位性を一体化させたものです。重要なのは、レイクハウスパターンは厳密に加算型であることです。データ実務家として

ソフトウェア開発およびDevOpsのベストプラクティスをDelta Live Tableパイプラインに適用

April 28, 2023 Alex Ott による投稿 in プラットフォームブログ
Original Blog : Applying software development & DevOps best practices to Delta Live Table pipelines 翻訳: junichi.maruyama Databricks Delta Live Tables(DLT)は、データエンジニアが記述・維持する必要のあるコード量を減らすことで、堅牢なデータ処理パイプラインの開発を根本的に簡素化します。また、環境間でコードとパイプラインの構成をシームレスに推進できるようにしながら、データのメンテナンスとインフラ運用の必要性を低減します。しかし、パイプラインに含まれるコードのテストを行う必要があり、それを効率的に行う方法についてよく質問を受けます。 このブログでは、複数のお客様との共同作業の経験に基づき、以下の項目を取り上げます: DevOpsのベストプラクティスをDelta...

Databricks Marketplaceのパブリックプレビュー発表

Original Blog : Announcing Public Preview of Databricks Marketplace 翻訳: junichi.maruyama この度、オープンソースの Delta Sharing 規格を利用した、あらゆるデータ、アナリティクス、AIのためのオープンマーケットプレイス、 Databricks Marketplace のパブリックプレビューを発表します。Databricks Marketplaceは、データ消費者とデータ提供者の広大なエコシステムを結集し、データセット、ノートブック、MLモデルなど、さまざまなデータ資産を、プラットフォームの依存関係や複雑なETL、高価なレプリケーションなしに共有・共同利用できます。データコンシューマーは、組織のAI、ML、アナリティクスイニシアチブを革新・推進し、ベンダーロックインすることなく、より迅速なインサイトを提供することができます。データプロバイダーは、ビジネスを拡大し、新しいユーザーを獲得し、収益を上げることができます。

Lakehouseの価値を最大化するためのデータアーキテクチャパターン

Original Blog : A data architecture pattern to maximize the value of the Lakehouse 翻訳: junichi.maruyama Lakehouseの優れた成果の1つは、従来のBI、機械学習&AIといったモダンなユースケースのワークロードを1つのプラットフォームで組み合わせることができることです。このブログ記事では、「1つのプラットフォームに2つのサイロがある」というリスクを軽減するアーキテクチャ・パターンを説明しています。本ブログで紹介するアプローチに従えば、機械学習やAIを利用するデータサイエンティストは、組織のビジネス情報モデルから得られる信頼性の高いデータに容易にアクセスできるようになります。同時に、ビジネスアナリストは、中核となるエンタープライズデータウェアハウス(EDW)の安定性と適合性を維持しながら、レイクハウスの機能を活用してデータウェアハウス(DWH)プロジェクトのデリバリーを加速させることができます。 データレイクと