集まれ！Legendary Heroes of DATA + AI !! Vol 5
August 9, 2023 in Databricks ブログ
日本のDatabricks Championの皆様に、目指したその理由や、これからの思いについて伺う「集まれ！Legendary Heroes of DATA + AI !!」。Legendary Heroes of Data＋AI の皆さんの輪もドンドン広がっています！
今回は、Vol 5として、前回のVol4 に引き続き株式会社ナレッジコミュニケーション様から 山川 将也 様をご紹介します。
—- 以前にご紹介したLegendary Heroes of DATA＋AI!はこちら--------
[Vol.1] 株式会社NTT データ 斎藤 祐希 様、洪 元 様
[Vol.2] アクセンチュア株式会社 飯塚 希翔 様
[Vol.3] 日本マイクロソフト株式会社 中里 浩之 様
[Vol.4] ナレッジコミュニケーション 小山 翼 様
＜株式会社ナレッジコミュニケーション 山川 将也 様＞
私は新卒で入社し、データ分析基盤の構築に従事しています。データの活用の現場では専門性が進化し、データスチュワード、データエンジニア、データサイエンティスト、データアナリスト、機械学習エンジニアなど、役割の細分化が進んでおり、それに伴って、扱うサービスやスキルセットも増えています。データブリックスでは、上記の各役割に必要なコンポーネントが揃っており、統合されたプラットフォーム上でデータ収集から機械学習モデルの構築・デプロイまでをシームレスに実現することができます。私自身もプロジェクト内で各役割を行き来することがありますが、各機能がなめらかに連携しており、常に本質的なタスクに集中できると日々感じております。
特に気に入っている機能はMLFlowです。データブリックスが開発したOSSであるためマネージドで統合されており、Notebookで実装した実験が数クリックと数行のコードだけで、洗練されたUI上でMLFlowを利用できます。以前は、モデルや評価指標の管理を行う場合でも最適なサービス/ツールがあまりなく、モデル評価のトラッキングはメモやエクセルで行うアナログ的で面倒な作業をしていました。データブリックスの MLFlowではモデルの追跡や管理からデプロイまでをサービスを意識せずに、Notebook上のコードで管理でき、非常にシンプルに実装できることが自分的おすすめポイントです。MLFlowは、生成AIモデルへの対応も急速に進んでおり、将来的にもさらなる重要性が高まると考えています！
------
ここで、私がこれまで取り組んだプロジェクトの中で印象深かったプロジェクトを紹介させてください。
このプロジェクトは、お客様のビルの最適な空調管理という課題に対して、センサーデータの活用を主眼に進められました。具体的には、気候情報とセンサーデータを活用して、快適な空調設定値を予測するモデルを構築するというもので、空調設備のセンサーデータと気候情報を特徴量として、人間が感じる不快指数を最小化する設定値を予測するものでした。
このプロジェクトにおいて、開発した予測モデルに対し、私はDatabricks Model Servingを利用して推論APIを提供してみることにしました。お客様のご要望として、外 気温・センサーデータなど複数のデータを収集し、機械学習モデルの開発が必要であったからです。
また、今回のプロジェクトは、導入部分は弊社で実装しますが、その後の基盤やモデルの運用はお客様自身で内製化を進めるという形で進められることが決まっておりました。そのため、データブリックスの優れた特徴の1つでもあるNotebookの共有や共同作業が重要なポイントでした。決められたプロジェクト期間の中で、私が実装部分を進めつつ、一部の部分をお客様で実際にNotebookに記載してもらったのですが、非常にわかりやすいUIでもあり、共有や統合がスムーズに行えました。さらに内製化をするために最終成果物をお客様ご自身で展開頂いたのですが、そこも無駄な工数を割くこともありませんでした。
こうした、データブリックスの強力な機能を活用し、データの抽出、変換、モデルの作成、そして予測実行のためのAPI提供に加え、JSONデータの分析をシンプルなアーキテクチャで実現することができました。このプロジェクトでは、約2.5ヶ月という短期間で開始からモデルの実装までを完了しました。これはお客様も大変喜んでいただき、また内製化という一見困難と思われがちなハードルも、スムーズに越えられたと実感したプロジェクトだったと思います。
このお客様は、Microsoft Azure上での実装を選択し、Azure IoT HubやCosmos DBとの連携で、データの収集環境を簡単に構築しており、Databricks AutoMLを活用することで、効率的なベースモデルの作成も実現しています。
-------
Databricks Championとして私は、海外のデータ＆AIのトレンドを日本で紹介し、企業やデータエンジニアのデータリテラシーの向上に貢献していきたいと考えています。特に、MLFlowを活用して実プロジェクトにおけるモデルの管理、監視、継続的なモデルの精度維持・向上に携わるような案件に多く関与し、そのユースケースを広く発信して、日本のデータ＆AIの活用領域を広げられるよう尽力することを目標にしています！
また、Databricks Championとしての活動を通じて、社内のデータブリックスエンジニアの育成にも力を入れていきたいと考えています。社内外でデータブリックスの利点やメリットを積極的に伝えていくことで、より多くの人に理解される環境を整えていければと考えています。
ーーーーーーーーー
「ユースケースを広く発信して、日本のデータ＆AIの活用領域を広げられるよう尽力することを目標にしています」
ますますAIが私たちの身近なものになりつつ今だからこそ、多くのユースケースがこれから多く出て 来ることは間違いありません！データとAIの活用を通し、多くの企業がイノベーションを起こせるように、私たちデータブリックスも、Databricks Championの皆さんと頑張っていきたいと思います！引き続きご支援よろしくお願いいたします！！
弊社では今後もこのLegendary Heroes of Data+ AI を目指す皆様を強力にサポートします！！
ーーーーーーーーーーーー
Databricks Champion とは
Databricks Champion は、弊社が提供する「データとAIの民主化」を推進するソリューションの特性や概念をご理解いただき、技術的な専門家という側面だけでなく、エバンジェリストとして、その深い知見をマーケットに広く発表いただく”Legendary Heroes of DATA + AI”です！
当プログラムは、こうしたThought Leadershipの役割をも担い、インフルエンサーとしてマーケットに一石を投じていただける方をDatabricks Championとして認定するプログラムです。
＜Databricks Champion になるための9つのステップ＞
- Determine track - Data Engineering / Data Science
- Set bi-weekly sync cadence with your Databricks mentor
- Plan & attend Databricks academy course
- Plan & attend Databricks architecture workshop
- Setup Databricks workspace
- Download & practice Databricks demos
- Develop technical validation plan & execute a mock POC
- Shadow/co-develiver a joint customer engagement
Become Databricks certified : Pass Certified Associate Developer exam