データブリックスとアクセンチュアの連携で大規模な機械学習の運用を効率化
データブリックスはこのたび、アクセンチュアとのパートナーシップを発表しました。このパートナーシップを通じて世界中のエンタープライズ企業に、私たちのサービスと再利用可能なコンポーネントを提供できることが期待されています。また、データ戦略、データ設計、データプラットフォームの最新化、および AI を専門とするアクセンチュアのデータ・AI 部門は、データブリックスの統合データ分析プラットフォームを活用し、これまでに実証された手法を、機械学習の大規模な運用に向けて最適化できます。アクセンチュアとデータブリックスは共に、エンタープライズにおけるデータのサイロ化の解消、アジャイルで適応性の高いプロセスの構築、データドリブンな意思決定による問題解決、新たな機会創出を可能にします。 アクセンチュアとデータブリックスのグローバルなパートナーシップは、両社が以前から共同でソリューションアクセラレータおよびソリューションを開発してきた実績に基づいています。私たちはさまざまな業界のお客様にこれらを提供し、機会創出を支援してきました。また
Disney+ 事例：Databricks と AWS で構築したス トリーミングデータの分析プラットフォームで顧客エクスペリエンス向上
ディズニープラス（Disney+）のソフトウェアエンジニアリングディレクターであるマーティン・ザプレタル（Martin Zapletal）氏が、AWS re:Invent 2020 に登壇し、同社におけるユビキタスな高速データを活用した顧客エクスペリエンスの改善への取り組みについて講演しました。 ディズニープラスでは、Databricks on AWS を基盤とするアーキテクチャによって、数百万のリアルタイムなストリーミングイベントの処理および分析を行っています。ザプレタル氏の講演では、そのアーキテクチャについて詳しく紹介されました。 セッション要旨： ディズニープラスでは、タイトルレコメンデーションの提供、マイクロサービスへのイベントの送信、オペレーション分析のためのログの作成などのリアルタイムなアクションの推進に Amazon Kinesis を活用し、顧客エクスペリエンスを向上させています。このセッションでは、ディズニープラスがいかにしてリアルタイムかつデータドリブンな能力を備えた統合ストリーミングプラット
Databricks の MLflow モデルレジストリと CI/CD 機能で MLOps を簡素化
MLflow は、実験のメトリクスやパラメータ、アーティファクトの追跡、モデルをバッチまたはリアルタイムでサービングシステムに展開する機能を提供し、組織における機械学習（ML）ライフサイクルの管理を支援します。 MLflow モデルレジストリ は、実験段階からデプロイメントへのハブとして、モデル展開のライフサイクルを管理する中央リポジトリを提供します。 MLOps 、機械学習ライフサイクル管理において、継続的インテグレーションと継続的デプロイメント（CI/CD）のプロセスは極めて重要です。このブログでは、全ての Databricks ユーザーが利用できるタグやコメント、Webhook 通知機能など、CI/CD プロセスを円滑にする Databricks の MLflow モデルレジストリの新機能をご紹介します。 AWS 、 Azure との連携についてはそれぞれのページをご覧ください。 なお、このブログでは、Data+AI サミット 2020 で一般提供を発表した...
データサイエンティスト向け：Databricks Notebook を使いこなす 10 のヒント
「最高のアイディアにはシンプルなものがある」という格言があるように、たとえ小さくても大きな違いを生むことがあります。今年行った数回のリリースの過程で、Databricks をシンプルにするために、大きな違いにつながる小さな機能を Notebook に追加しました。 このブログと 付随する Notebook では、簡単なマジックコマンドを紹介し、データサイエンティストの開発時間を短縮し、開発者のエクスペリエンスを向上させるために Notebook に追加したユーザーインターフェースの機能を解説します。 強化された機能には、次のものが含まれます。 %pip install %conda env export および update %matplotlib inline %load_ext tensorboard および...
リアルワールドデータ分析によるハイリスク患者の検知
低コストのゲノムシークエンスや AI を活用した医療用画像診断の普及により、精密医療への関心が高まっています。Databricks では、精密医療の領域におい て、データや AI を活用して疾患に対する最適な治療法を発見することを目指しています。精密医療は、希少疾患やがんと診断された患者の治療のアウトカムを改善してきましたが、精密医療はリアクティブ型の医療です。精密医療を受けるには、患者が病気である必要があります。 医療・ヘルスケアのコストとアウトカムの面では、糖尿病や心臓病、薬物使用障害などの慢性疾患の 予防 が、医療費と生活の質の改善に大きく影響を与えることがわかっています。米国では、死亡者の 10 人のうち 7 人が慢性疾患の患者で、医療費の 85% が慢性疾患の治療によるものです。また、 欧州 や東南アジアでも同様の傾向が見られます。非感染性疾患は、患者への教育や慢性疾患の原因となる根本的な問題に対処することで、通常は予防可能です。これらの問題には、 神経疾患の原因となる既知の遺伝的リスク などの生物学的リ
レイクハウスと Delta Lake の内部構造
Databricks は以前の ブログ で、企業におけるレイクハウス（LH）採用の増加状況について解説しました。このブログの内容は、技術系のオーディエンスから大きな反響がありました。多くの方がレイクハウスを次世代のデータアーキテクチャとして賞賛してくださったのですが、データレイクと何ら変わらないのではいうご意見もいただきました。そこで、Databricks のエン ジニアと創業者が、データレイクとは一線を画すレイクハウスパラダイムを核とする技術的課題とソリューションについてのリサーチペーパー「Delta Lake: High-performance ACID Table Storage over Cloud Object Stores」（Delta Lake：クラウドオブジェクトストアによる高性能ACIDテーブルストレージ）を共同執筆しました。このペーパーは、大規模データベースの国際会議 VLDB2020 で受理、発表されました。リサーチペーパーの全文は こちら からダウンロードできます。 「もし私が顧客に何が欲し
データ分析と AI の活用で COVID-19 影響下の公衆衛生監視を改善
Databricks における公共セクター（州・地方政府）部門のリーダーである私は、米国の政府による新型コロナウイルスと COVID-19 の危機への取り組みを身近に見る機会があります。この危機に立ち向かい、命を救うために業務遂行している彼らの姿勢には常に敬服させられます。 暗いニュースが続く中、COVID-19 に関して公衆衛生機関がもたらした重要な 新たな成果の報告 もあります。米国疾病予防管理センター（CDC）をはじめとする公衆衛生部門による優れた活動は、あまりニュースの見出しになることはありませんが、実際は極めて素晴らしい成果を生み出しています。 私たちと同じように、地方自治体や州政府も、状況が変化するたびに一歩ずつ理解を深めています。早期に感染が発生した国で成功した COVID-19 対応プログラムを参考にし、公衆衛生機関はまず、重要なデータソースとして接触者の追跡の必要性を認識し、接触者追跡プログラムの実装を急ぎました。接触者追跡プログラムを導入したことで、膨大なデータが利用可能になりました。 世界的
カスタマーリテンション（顧客維持）による LTV の向上と最大化 – ML のハイパーパラメータで解約率を予測
顧客のロイヤルティや維持率が高い企業では、収益が同業他社に比べ 250% 早く成長 し、10 年間での株主利益率も 2 倍から5 倍に達します。顧客のロイヤルティを獲得し、定着数を最大にすることは、企業と顧客ベースの両方に多くの利益をもたらします。 ではなぜ多くの企業にとって顧客の維持が難しいのでしょうか？ARPU（顧客 1 人あたりの平均売上高）を指標とする通信会社などのサブスクリプションベースの企業以外は、顧客維持率の公式な開示を重視していない企業がほとんどです。企業では、顧客ではなく製品やサービスの機能面に重点を置き、顧客ロイヤルティはこれらの取り組みによって自然に向上するものと考えています。実際に、 ニールセンの 2020 年の調査結果 では、「企業のマーケティング目標の中で、顧客離脱・解約への対応の優先度は最下位」であることが明らかになっています。 多くの事実からも、顧客の消費行動が変化していることがわかっており、顧客維持は特に重要な課題です。 新型コロナウイルス感染症（COVID-19）による消費行動
Azure 環境でのモダン IIoT 分析 - Part 3
モダン IIoT（産業用 IoT）アプリケーションのための Azure データ分析に関するブログを 3 部構成でお届けしています。前回の Part 2 では、フィールドデバイスからリアルタイムの IIoT データを Azure に取り込み、データレイク上で直接実行する複雑な時系列処理について解説しました。Part 3 となる今回は、機械学習を活用した予測メンテナンスで風力タービンの収益を最大にすると同時に、ダウンタイムによる機会コストを最小限に抑え、利益を最大化する手法を解説します。 モデルのトレーニングによって得られた結果とそれを視覚化したものは、以 下のような Power BI レポートに表示されます。 下の図は、エンドツーエンドのアーキテクチャを示したものです。 機械学習：出力と残存耐用年数の最適化 風力タービンのような産業用資産のユーティリティ、耐用期間、運用効率における最適化は、収益とコストに多くのメリットをもたらします。このブログでは、風力タービンの収益を最大にすると同時に、ダウンタイムによる機会コスト
Apache Spark™ 3.0 のデータ型：日付とタイムスタンプ
Apache Spark は、構造化データと非構造化データの処理に使用される非常に一般的なツールです。構造化データの処理に関しては、整数、LONG、DOUBLE、STRING といった多くの基本的なデータ型をサポートしています。Spark は、開発者が理解するのが難しいことが多い DATE や TIMESTAMP などの複雑なデータ型もサポートしています。このブログでは、日付型とタイムスタンプ型について深く掘り下げ、その動作と一般的な問題を回避する方法を解説します。主に、次の 4 つの部分をカバーしています。 日付型と関連する暦法の定義と Spark 3.0 から適用された暦法の変更について タイムスタンプ型の定義とタイム ゾーンとの関係（タイムゾーンオフセットの解消に関する詳細と、Spark 3.0 で使用される Java 8 の新しい Time API...