レイクハウスによるデータの民主化がアムジェンの医薬品開発・提供を加速
この記事は、アムジェン（Amgen）社のプロダクトオーナー Jaison Dominic 氏と、ディスティングイッシュドソフトウェアエンジニア Kerby Johnson 氏によるゲスト執筆記事です。 世界最大の独立系バイオテクノロジー企業である アムジェン は、長い間、イノベーションの代名詞とされてきました。40 年にわたり、新しい医薬品製造プロセスを開拓し、命を救う医薬品を開発し、世界中の何百万人もの人々の生活にプラスの影響を及ぼしてきました。患者さんに最高のサービスを提供するという使命を果たし続けるために、私たちは最近、完全なデジタル変革という新たなイノベーションのジャーニーに乗り出しました。 研究開発の生産性向上からサプライチェーンや商品化の最適化まで、ビジネス全体の成果を 上げるためのデータ活用を再考する過程で、データチームが解決しようとしている問題の種類がここ数年で劇的に変化していることがすぐに明らかになりました。さらに、これらの問題は、もはやスキルセットや部門、機能によって隔離されているわけではありま
Databricks SQL の新機能「クエリプロファイル」でクエリを理解する
Databricks SQL は、 Databricks のレイクハウスプラットフォーム における SQL のデータウェアハウス機能とファーストクラスのサポートを提供します。これにより、アナリストは従来のクラウドデータウェアハウスよりもわずかなコストで 新たな知見を迅速に発見し、共有できるようになります。 このブログは、Databricks SQL に関するコンテンツシリーズの一部です。Databricks SQL の性能、使いやすさ、ガバナンスにおける重要な機能について解説します。以前の ブログ では、Databricks SQL の強化された最新のユーザーエクスペリエンスについてご紹介しました。今回は、ユーザーがクエリとクエリの性能を理解するのに役立つ改善点について解説します。 実行時のボトルネックを特定してクエリを高速化 Databricks SQL は、自動的なクエリの高速化に優れています。事実、2021年11月に 世界記録 を更新しました。しかし、こういった技術革新にもかかわらず、クエリが予期せず遅いとい
小売・リテール業界向けレイクハウスによる課題解決と生産性の向上
小売業のビジネスは、早朝からフル稼働しています。配送トラックは店舗や家庭に商品を届けるために拠点を出発し、店舗では開店の準備やその日の需要に応じた在庫の確認などが行われます。このように年中無休で稼働する小売業界にも、ここ数年で大きな変化が起きています。 世界的なパンデミックが小売業界に与えた影響は大きく、10 年分の変化が一度に起こったといっても過言ではない状況となっています。また、消費者の意識も大きく変容し、かつてないほどの迅速性と完全性を求めるようになっています。実店舗は依然として重要である一方で、オムニチャネルをうまく取り入れ、購買エクスペリエンスを向上させる必要がありました。そこで小売業界では、DX の実現に向けたテクノロジーへの投資を加速させてきました。そして現在は、いかに業務を最適化して生産性を向上させ、収益率を上げるかという課題に取り組んでいます。 データブリックスは、世界のあらゆるチャネルや地域の大手小売業者との連携を通じてリテール業界の課題解決を支援しています。連携先には、Walgreens、C
データレイクハウスでコンピュータビジョンアプリケーションを実現する
Original Blog : Enabling Computer Vision Applications With the Data Lakehouse 翻訳： junichi.maruyama ブログ「 Tackle Unseen Quality, Operations and Safety Challenges with Lakehouse...
データブリックス、ガートナー2021 年 MQ クラウドデータベース管理システム部門（DBMS）のリーダーに
データブリックスは、ガートナーのマジック・クアドラント 2021 年「クラウドデータベース管理システム（DBMS）」部門においてリーダーに位置づけられました。これにより、データブリックスは、「クラウドデータベース管理システム（DBMS）」および「データサイエンス・機械学習プラットフォーム」の両部門のリーダーとして評価された唯一のクラウドネイティブベンダーとなりました。 レポートは、 こちら から無償でダウンロードできます。 リーダーとして位置づけられることは重要ですが、何を達成したことにより得られた評価なのかがより重要だと私たちは考えています。複数部門のマジック・クアドラント（MQ）で同時に高評価を受けるベンダーは他にも存在します。しかし、そのようなベンダーの多くは、別々の製品によって対象部門の評価基準を満たしているにすぎません。すなわち、問題解決に対する断片的なアプローチに留まっており、シンプルで一元的なエクスペリエンスをお客様に提供するものではありません。 データブリックスは、オープンソースとオープンスタンダ
Databricks と同等の価格性能を持つという Snowflake の主張に対する反論
データブリックスでは、Databricks SQL のレイクハウスプラットフォームが、 データウェアハウスの公式世界記録を更新 したことを 2021 年 11 月 2 日にブログで発表しました。この結果は、Transaction Processing Performance Council (TPC) によって公式に監査、報告されており、tpc.org にて 37 ページのドキュメントとして オンラインで公開 されています。また、そのブログで、サードパーティ のバルセロナ・スーパーコンピューティング・センター（BSC）によるベンチマークテストの結果を共有し、Databricks SQL が競合...
データベースのベンチマーク情報を公開 ― 反競争的 DeWitt 条項を不要に
Databricks では、テクノロジーについて語るときにしばしば「the future is open」（未来はオープン）というフレーズを使用します。オープンなデータアーキテクチャがプロプライエタリなアーキテクチャを凌駕するという私たちの信念を表現したものです（Databricks は先日、 TPC-DS の公式記録を更新 しました）。「オープン」であるべ きは、コードだけではありません。業界全体における経営手法や討論も含まれます。多くのテクノロジー企業が、契約の中に DeWitt 条項を入れることでベンチマーク情報の公開を禁じ、自社製品のパフォーマンスに関する情報を制御しようとしています。しかし、私たちは、このような慣行はお客様のためにならず、イノベーションの障壁となる、そろそろ廃止すべきだと考えています。そこで Databricks では、サービス規約から DeWitt 条項を削除し、業界の他の企業にも同様の行動を呼びかけています 。 DeWitt 条項とは Wikipedia には次のように記載されています
Databricks が DWH パフォーマンスの公式記録を更新
Databricks は本日、「 Databricks SQL 」がデータウェアハウス（DWH）のベンチマークである TPC-DS の 100TB クラスで世界記録を更新 したことを発表しました。 Databricks SQL は、これまでの世界記録の 2.2 倍のパフォーマンスを達成。 他の多くのベンチマーク達成ニュースとは異なり、この記録は TPC 評議会によって正式に認められています。 These results were corroborated by...
Apache Spark™ 3.2 の概要
Apache Spark™ 3.2 が、 Databricks ランタイム 10.0 の一部として Databricks 上で利用できるようになりました。Spark 3.2 のリリースにあたり、Apache Spark コミュニティの皆様の多大な貢献に感謝します。 Maven での Spark のダウンロード数が急増しています。 月間のダウンロード数は 2,000万 に達し、対前年比では 2 倍の成長率を示しています。Spark...
空間分割 - デカルト積を回避しながらポリゴンデータの結合・解析を効率化する方法
この記事は、オードナンス・サーベイ、Microsoft、データブリックスの共同執筆によるものです。オードナンス・サーベイのシニアデータエンジニア Charis Doidge 氏、同シニアデータサイエンティスト Steve Kingston 氏、Microsoft 高度分析・AI 担当クラウドソリューションアーキテクト Linda Sheard 氏のご協力に感謝します。 このブログでは、オードナンス・サーベイ（Ordnance Survey、英国陸地測量部）、データブリックス、Microsoft が共同で取り組む British National Grid（BNG）を用いた空間分割について解説します。 オードナンス・サーベイは、 公共部門地理空間協定 （Public Sector Geospatial...