によって ケイトリン・ゴードン 、 アンドリュー・マリンズ による投稿
この記事は、Kin + Cartaのデータサイエンスディレクター、Andrew Mullinsとの共同執筆である。
テレマティクスから自動運転車に至る新技術の台頭により、自動車業界ではデータとAIがイノベーションの舵を切っており、メーカー各社は、革新的な技術を採用して正確かつ効率的に前に進むために急速にギアをシフトしている。その先頭に立つのは、16万5000人の従業員を擁し、自動車のエンジニア リング、設計、技術の限界に挑むことに注力しているアメリカ最大級の自動車メーカーである。
IT、データをフルに活用しようとする機知に富んだ他の企業同様、この米国の大手自動車会社も、大量にある未加工データを価値あるビジネス上の洞察に変える必要があることを認識していた。最新のクラウドプラットフォームとAIを搭載したデータソフトウェアを組み合わせることで、同ブランドはデータをより適切に管理できるようになっただけでなく、自社の製品に適していると思われる箇所でイノベーションを推進することもできるようになった。
自動車大手の同社は、数千人ものデータサイエンティスト、アナリスト、エンジニア、その他の技術社員が、より実りある分析を促進するために、ペタバイト規模のデータを集中的に保管する必要があることをもはや否定できなかった。 統一されたインターフェイスにより、同社はデータの管理を強化し、データ実践のための強固な基盤を構築し、全従業員のデータワークフローを合理化することができた。
同社の経営陣はAzureとクラウドインフラストラクチャの全面的な導入に取り組んでいたが、組織的・技術的な問題により移行の進捗が遅れていた。 しかし、クラウドプラットフォームの成熟や、大規模言語モデル（LLM）などの新たな技術進化により、同社のモダナイゼーションを加速させる優先順位が再度高まった。
この成功した自動車ブランドは、すでに切り替えの利点を熟知していた。 オンプレミスのストレージからクラウドストレージに完全に移行することで、セルフサービスと迅速なプロトタイピングを促進し、ITへの負担を軽減することができる。 さらに、クラウドベースのアーキテクチャーは、業界特有の膨大なデータの取り込み、処理、保存を改善し、車両性能の向上、新機能や新製品の革新、顧客関係の促進、運用コストの削減、サプライヤーとの関係の監督に役立つ。
とはいえ、オンプレミスからクラウドへの移行は一朝一夕に、あるいはサポートなしにできるものではない。 同社は、移行を加速し、適切に活用されていなかった既存のAzure Data Lakeをデータレイクハウスプラットフォームに接続するための成功する青写真を構築する必要があると認識していた。
さらに、この自動車会社は、新しいソフトウェアの導入に関する繊細な部分を主導する実施パートナーを招き入れることに前向きだった。 これらすべてを念頭に置いて、この会社はプロジェクトを優先することを決意し、定型的なアプローチと、（言葉遊びではなく）一つ一つレンガを積み上げる（a brick-by-brick）ようなメンタリティで取り組むことにした。
自動車会社はすでに既存のAzure Data Lakeを持っていたが、ビジネスを進化させるためにデータの可能性を最大限に活用していなかった。この状況を改善するために、まずはKin + Cartaというデジタル・トランスフォーメーション・コンサルタント会社をパートナーに迎えた。
移行プロセスは遅々として進まなかったが、この巨大自動車ブランドはすでに、Databricksのレイクハウス・プラットフォームを既存のAzure Data Lakeに接続したいと考えていた。こうすることで、データを処理するDatabricksデータプレーンのすべてのリソースを、Azureクラウドアカウントでホストし、Databricksファイルシステム（DBFS）からデータソースに接続することができる。
同社はレイクハウスのデータとAI資産の統合ガバナンス・ソリューションであるUnity Catalog を含む、Databricksのレイクハウス・プラットフォームの他の構成要素にも投資する予定だ。また、Databricksを利用して、 MLライフサイクル（モデルのトレーニング、実験から本番へのデプロイまで）を管理したいと考えていた。この大手自動車ブランドは、Azure DevOpsを使用して、Azureクラウド内のこのプロジェクトの複雑さをすべて管理する予定だ。
"KIN + CARTAパートナーは、Databricksレイクハウスを活用した統合データプラットフォームへの移行をクライアントと共同で実施しました。ツールや再利用可能なパターンを構築し、文書化することで、エンドツーエンドで管理された最新のワークフローを実現し、データ実務者を支援しました。" - Andrew Mullins氏、Kin + Cartaのデータサイエンスディレクター。
代理店側において、Kin + Cartaは、データパイプラインのオーケストレーションのための共通のワークフローを実装するために、ブランドが再利用可能なパターン、プロセス、およびツールの識別を支援した。最終的には、これによりプロジェクトの初期段階で「クラウド対 応」していたが、プラットフォームの未熟さに阻まれていたプロジェクトやチームが活用できる核となるデータ資産のターゲットインベントリーを明らかにする助けとなるだろう。
次に、Kin + Cartaは、自動車メーカーと協力して、データ実務者にプラットフォームの機能とベストプラクティスについて教育し、オンボーディングに向けてチームを準備するための社内普及計画を作成した。これにより、アナリストやサイエンティストからエンジニアまで、何百人ものデータ実務者がAzureとDatabricksを日常的に利用できるようになるため、これは極めて重要なステップだった。
レイクハウスのインフラに接続することで、この自動車会社は、バッチ処理や追加のデータ変換・統合ステップを必要とすることなく、テクニカルユーザーが自由に使える膨大な量のビジネスデータを統合可能となった。これにより、同社の技術チームはリアルタイム処理を利用できるようになり、即座に分析を行うことができるようになった。また、実行可能なデータに関する議論、コラボレーション、アイデア出しが容易になった。
良いニュースとしては、データの取り込みや管理の複雑さを気にする必要がなくなったことだ。Databricks レイクハウスプラットフォームは、「抽出、変換、ロード」（ETL）プロセスを自動化する。(ETL）プロセスを自動化することで、同社のAzure Data Lakeを、構造化、半構造化、非構造化データの主要な保存先へと変貌させ、ビジネスの知見を実用的なステップへと変える。
自動車会社がオンプレミスからクラウドへの戦略的シフト を行った今、ビジネスのモダナイゼーションに向けた態勢が完全に整ったといえる。必要だったのは、最新テクノロジーとクラウド・イノベーションへのコミットメントだけだった。 このプロジェクトの中核は、効率向上のための強固なデータ基盤の構築であり、自動車ブランドは現在、その取り組みの影響を最大限に活用している。
運用の観点から見ると、この移行は多くの点で有益であった。 何よりもまず、この自動車ブランドは、このプロジェクトを再活性化する際の主な目標の一つであった、費用対効果が高くタイムリーな方法で規模を拡大する能力を獲得した。また、Azure DataOpsを使用して主要業績評価指標（KPI）の定義（データの完全性、正確性、有効性、鮮度など）を一元化し、これらのKPIを監視・管理する単一のプラットフォームを持つようになった。 最後に、そしておそらく最も重要なことだが、共通の再利用可能なパターンの開発が明らかになるにつれて、ユースケースの継続的な実現が可能になった。
しかし、このプロジェクトが自動車会社にとって真に価値あるものになったのは、技術ユーザーが組織データの整合性に関して確信を持ち、刻々と変化するビジネス目標を最も正確にサポートする、情報に基づいた意思決定を行う権限を与えられたと感じたからである。Azureはセキュアなクラウド基盤を提供し、本質的には、影響力のあるさまざまなDatabricks製品のための発射台となった。
しかし、この大手自動車ブランドは具体的にどのように従業員の効率を向上させたのだろうか？ 技術チームはデータのシンジケーション能力を向上させただけでなく、データ品質の監視を自動化し、そのような作業に費やす時間とリソースを削減した。 さらに、ビジネスでは、十分に文書化され、発見可能なデータ資産があるため、技術チームのメンバーは、それぞれの役割に秀でるために必要なリソースを探すために、さらに時間を浪費する必要がなくなった。
IT部門にとっては、データ・プロジェクトによって開発・納品時間が短縮され、必要なデータの調達に費やす時間も短縮された。 言うまでもなく、追跡可能なデータリネージは、問題をよりよく特定し、必要に応じてコンプライアンス・リスクを軽減することを可能にする。 最後になるが、新しい厳格なデータ・セキュリティ・プロセスと要件により、機密データ（顧客データなど）の暴露が制限される。
将来的には、この自動車会社の技術チームは、ビジネスの重要な目標を前進させる戦略的タスクに貴重な時間を集中させることができる。 Kin + Cartaは、IT データとクラウドプラットフォームの新たな使用例とさらなる革新を探求するブランドとして、クライアントとパートナー関係を続けている。
Databricksのデータインテリジェンスプラットフォームがお客様のビジネスにどのように役立つかについて詳しくお聞きになりたいですか？ 今すぐ詳細をご覧ください。
ブログを購読して、最新の投稿を受信トレイにお届けします。