メインコンテンツへジャンプ

Databricks Notebooks向けの新しいデバッグ機能:Variable Explorer

Original: New debugging features for Databricks Notebooks with Variable Explorer 翻訳: saki.kitaoka 今日、Databricks NotebookのPython向けにVariable Explorer(変数エクスプローラ)の一般利用可能を発表することを非常に嬉しく思います。Variable Explorerを使用すると、Databricksのユーザーはノートブック内で定義されたすべての変数を一目で確認したり、ワンクリックでDataFramesを調査・探索したり、pdbを用いてPythonコードをインタラクティブにデバッグすることが可能になります。 ノートブックの変数を確認する Variable Explorerは、ノートブックセッションで利用可能なすべての変数を表示します。すべてのシンプルな変数タイプについて、名前、タイプ、値が表示されます。 Variable Explorerは、SparkとPandasのDataFra

Databricks Fleet Clusters for AWSのご紹介

Original : Introducing Databricks Fleet Clusters for AWS 翻訳: junichi.maruyama この度、Databricks FleetクラスタのAWSでの一般提供開始を発表します。 フリートクラスタとは? Databricks Fleet Clusters は、Databricksがインテリジェントに最適化し、プロセスを自動化することで、手動でインスタンスを選択する手間をかけずにSpot価格の潜在能力を引き出します。Databricksの1クラスタ内の複数のインスタンスにまたがるフレックス機能により、可用性を確保しながら、AWS Spotインスタンスを可能な限り低コストで利用することが可能です。クラウドインフラの複雑な管理を回避し、本当に重要なこと、つまりデータドリブンなインサイトに時間を費やすことができます。 Databricksのフリートクラスタは、AWSのお客様向けに新しいフリートインスタンスファミリーのセットを導入します:m-fleet、md-

Databricks Marketplaceのパブリックプレビュー発表

Original Blog : Announcing Public Preview of Databricks Marketplace 翻訳: junichi.maruyama この度、オープンソースの Delta Sharing 規格を利用した、あらゆるデータ、アナリティクス、AIのためのオープンマーケットプレイス、 Databricks Marketplace のパブリックプレビューを発表します。Databricks Marketplaceは、データ消費者とデータ提供者の広大なエコシステムを結集し、データセット、ノートブック、MLモデルなど、さまざまなデータ資産を、プラットフォームの依存関係や複雑なETL、高価なレプリケーションなしに共有・共同利用できます。データコンシューマーは、組織のAI、ML、アナリティクスイニシアチブを革新・推進し、ベンダーロックインすることなく、より迅速なインサイトを提供することができます。データプロバイダーは、ビジネスを拡大し、新しいユーザーを獲得し、収益を上げることができます。

Databricks Connect “v2” でどこからでも Databricks を使用しよう

Original Blog : Use Databricks from anywhere with Databricks Connect “v2” 翻訳: junichi.maruyama この度、Databricks Connect "v2 "のパブリックプレビューを発表することができ、開発者はどこでも動作するアプリケーションからDatabricksのパワーを利用できるようになりました。 これまで、SQL以外の言語からDatabricksにリモートで接続する方法はありませんでした。 Databricks Connect library をアプリケーションに組み込み、Databricks Lakehouseに接続するだけです!...

クラスターポリシーのGeneral Availabilityのお知らせ

April 7, 2023 Piyush Singh による投稿 in プラットフォームブログ
Original Blog : Announcing General Availability of Cluster Policies 翻訳: junichi.maruyama この度、クラスターポリシーが一般公開されることになりました。 Why Databricks cluster policies? Databricksのクラスタポリシーによって、管理者は以下のことが可能になります: エンドユーザーのクラスタ構成を制御することで、コストを抑えることができます。 エンドユーザーによるクラスタ作成の効率化 コスト管理のためにワークスペース全体にタグ付けを強制する。 Databricksは、個人利用、共有利用、ジョブという3つの一般的なユースケースに対して、あらかじめ設定されたクラスターポリシーを提供します。管理者は、独自のポリシーをカスタマイズしたり、あらかじめ設定されたオプションを編集することも可能です。 How to...

レイクハウス用データクリーンルームの紹介

翻訳: Masahiko Kitamura オリジナル記事: Introducing Data Clean Rooms for the Lakehouse Lakehouseのデータクリーンルームを発表することで、企業はプライバシーを保護した方法で、顧客やパートナーとあらゆるクラウド上で簡単にコラボレーションできるようになります。データ・クリーン・ルームの参加者は、データのプライバシーを維持しながら、既存のデータを共有、結合し、データ上でPython、R、SQL、Java、Scalaなどあらゆる言語で複雑なワークロードを実行することができます。 外部データの需要がかつてないほど高まる中、組織はデータ主導のイノベーションを促進するため、データを安全に交換し、外部データを利用する方法を模索している。歴史的に、組織はデータ共有ソリューションを活用してパートナーとデータを共有し、データのプライバシーを守るために相互信頼に依存してきた。しかし、一度共有されたデータの管理は放棄され、さまざまなプラットフォームでデータがパート

データブリックス、ガートナー2021 年 MQ クラウドデータベース管理システム部門(DBMS)のリーダーに

December 16, 2021 Joel Minnick による投稿 in プラットフォームブログ
データブリックスは、ガートナーのマジック・クアドラント 2021 年「クラウドデータベース管理システム(DBMS)」部門においてリーダーに位置づけられました。これにより、データブリックスは、「クラウドデータベース管理システム(DBMS)」および「データサイエンス・機械学習プラットフォーム」の両部門のリーダーとして評価された唯一のクラウドネイティブベンダーとなりました。 レポートは、 こちら から無償でダウンロードできます。 リーダーとして位置づけられることは重要ですが、何を達成したことにより得られた評価なのかがより重要だと私たちは考えています。複数部門のマジック・クアドラント(MQ)で同時に高評価を受けるベンダーは他にも存在します。しかし、そのようなベンダーの多くは、別々の製品によって対象部門の評価基準を満たしているにすぎません。すなわち、問題解決に対する断片的なアプローチに留まっており、シンプルで一元的なエクスペリエンスをお客様に提供するものではありません。 データブリックスは、オープンソースとオープンスタンダ

レイクハウスを市民データサイエンティストに — 8080 Labs 買収

データドリブンな組織では、組織のあらゆる部分にデータが浸透しています。データドリブンな組織への転換は、有意義なビジネス成果を生み出すための重要なステップとなります。業界を問わず、消費者の要求に応え、イノベーションを推進し、変化し続けるコンプライアンス要件を満たすという課題を同時に解決すべく尽力する企業の間で、データリテラシーというバズワードが生まれました。経験豊富なデータエンジニア、データサイエンティスト、機械学習エンジニアで構成する大規模なデータチームが存在しない企業においても、データ資産の構築と、それを活用した実運用が求められます。しかし、実運用に向けたスケーリングは容易なことではありません。 このような状況を受け、Databricks では、ノーコードデータ分析ツール bamboolib を提供するフランクフルト拠点のスタートアップ企業 8080 Labs を買収 しました。市民データサイエンティストによるデータ分析を促進させる bamboolib をサービスの一部として迎え入れることは、Databrick

Databricks Beacons プログラムのご紹介

August 12, 2021 Karen Bajza による投稿 in Databricks ブログ
学術界とオープンソースコミュニティをルーツとする Databricks は、その成功が、データサイエンティスト、データエンジニア、開発者、データアーキテクト、データアナリスト、オープンソースの貢献者、データエバンジェリストなど、コミュニティによって支えられていることを理解しています。 Databricks Beacons プログラムは、データと AI のコミュニティを向上させるために尽力している方々に感謝し、その功績を称えるためのものです。 Beacons は、ハリファクス(カナダ)や、東京(日本)、チューリッヒ(スイス)、杭州(中国)など世界中に存在し、オン/オフラインの両方で、積極的な知識の共有をコミットしてくれています。 Lorenz Waltherts 氏は、Beacons への参加について「コミュニティの一員として、知識を共有したり、学ぶことができることを光栄に思います。」と述べています。 「Beacon」(灯台や標識塔)という名称は、私たちの道を照らしてくれるガイドのような存在であることから、選ばれま

公開プレビュー:Databricks ジョブによる複数タスクのオーケストレーション

July 13, 2021 Roland Fäustlin による投稿 in プラットフォームブログ
ドキュメントを読む 企業におけるビジネスインテリジェンス(BI)や、人工知能(AI)への取り組みの強化に伴い、シンプルで明確かつ信頼性の高いデータ処理タスクの オーケストレーション へのニーズが高まっています。Databricks のユーザーの選択肢はこれまで、複数のタスクを1つの Notebook で実行する、もしくは、別のワークフローのツールを使用して、ユーザーの環境全体をさらに複雑にするしかありませんでした。 本日、私たちは、タスクのオーケストレーションをサポートする Databricks ジョブのパブリックプレビューを発表しました。この機能により、複数タスクを有向非巡回グラフ(DAG)として実行することが可能になります。ジョブとは、Databricks のクラスタでアプリケーションを実行する非インタラクティブな方法です。例えば、ETL ジョブやデータ分析タスクをすぐに実行したり、スケジュールを設定して実行したりします。このジョブ内で複数のタスクをオーケストレーションする機能は、追加のコストは不要で、データ