データとAI 戦略の実務活用ウェビナーシリーズ

Building AI Systems with Databricks: From Concept to Deployment
DatabricksでのAIシステム構築：コンセプト設計から本番展開まで​

Databricks プラットフォーム上で、従来型の機械学習と生成AIを組み合わせることで、AIシステムを構築・高度化し、本番環境へデプロイする方法を学びます。​
このハンズオンワークショップでは、ガバナンスされたデータ、モダンな機械学習ワークフロー、そして生成AIの機能がどのように組み合わさり、安全でスケーラブルなAIイノベーションを実現するのかを扱います。​

このセッションでは、次のようなことに取り組むことができます。​

• Databricks 上でベクター検索を活用し、類似度に基づいて情報を検索・取得できるようにすることで、生成AIアプリケーションを強化する方法を学びます。​
• 埋め込み（embedding）モデルを用いたハンズオンを通じて、レコメンデーションやコンテンツ生成などのタスクにおいて、生成モデルがより効果的に利用できる形式へデータを変換する方法を理解します。​
• Databricks の AI Playground を使って基盤モデル（foundation models）を試し、さまざまなAI機能を探索し、それらが実際のユースケースにどのように適用できるかを確認します。​
• オープンソースの基盤モデルをワークフローに取り込み、テキストや画像などの生成のために、実験やパイプラインへ統合する方法を理解します。​
• Unity Catalog を用いて、すべてのAIアセットを一元的にガバナンスします。

LLMや生成AIの時代において、データとAIを民主化するには、効果的なガバナンスが不可欠です。​
多くの企業は、データベース、データウェアハウス、データレイク、さまざまなデータ形式にまたがるガバナンスが分断されているため、データの探索、アクセス権限の管理、データ利用の把握、監査、共有が複雑化するという課題を抱えています。​
さらに、ユーザーはしばしば、自分が使い慣れたツールから適切なデータにアクセスできず、その結果としてベンダーロックインが発生します。​
また、規制順守の観点から機械学習モデルやAIツールを管理することが、追加の複雑さを生んでいます。​

Databricks Data Intelligence Platform には、データとAIのための統合かつオープンなガバナンスソリューションである Unity Catalog が搭載されています。​
Unity Catalog によって、組織はあらゆるクラウドやプラットフォームにまたがり、構造化・非構造化データ、機械学習モデル、ノートブック、ダッシュボード、ファイルをシームレスにガバナンスすることができます。​
Delta および Iceberg エコシステムとの高い相互運用性により、ユーザーは好みのツールからデータへ容易にアクセスでき、柔軟性を確保すると同時にベンダーロックインを排除できます。​

このセッションでは、次のことを学びます。​

• 構造化／非構造化データ、機械学習モデルと特徴量、AIツールを対象とした統合カタログを作成する方法​
• コンテキストを理解する自然言語検索とディスカバリーの活用方法​
• アクセス権限を実装し、データアクセスを監査する方法​
• オープンなAPIを用いて、あらゆるツールからデータおよびAIアセットにアクセスする方法​
• AIを用いて、データとMLパイプラインの品質をモニタリングする方法​
• オープンソースの Delta Sharing を使って、クラウドやリージョン、プラットフォームを越えてデータを容易に共有する方法​

この入門レベルのハンズオンワークショップは、Databricks 上でのモダンなデータエンジニアリングを実践的に学びたいデータエンジニアおよびデータアーキテクト向けに設計されています。​
実際のユースケースを用いて、信頼性の高いデータパイプラインを設計・構築・運用する方法をご紹介します。
ワークショップ終了時には、GitHub の利用、複数ソースからのデータ取り込み、パイプラインのエンドツーエンドな本番運用といった作業をハンズオンで経験した状態になっていることを目指します。​

このセッションで学べる内容：​

• Lakeflow と Data Intelligence Platform の概要​
• 宣言的パイプライン、ストリーミングテーブル、マテリアライズドビューの始め方​
• 現実的なストリーミングデータのユースケースを題材にした実践​
• 高度な制御フローやトリガーを用いた Lakeflow Jobs の習得​
• データエンジニアのための生成AI：Genie と Databricks Assistant​
• Unity Catalog を用いたデータガバナンスとリネージ（データの来歴）の理解​
• サーバーレスコンピュートの利点

多くの組織では、アプリケーション、ユーザー、データがそれぞれサイロ化された複雑なクラウドデータアーキテクチャを運用しています。​
その結果、ほとんどの分析は古いデータに対して行われ、アナリティクスのための「単一の真実の情報源」が存在しないため、信頼できるインサイトを組織全体にスケールさせることが困難になっています。​

Databricks SQL が、データレイク並みのコスト感でデータウェアハウス級のパフォーマンスを実現するマルチクラウド・レイクハウスアーキテクチャをどのように可能にするかを学びます（従来のクラウドデータウェアハウスと比べて最大12倍の価格／パフォーマンスを実現）。​
データアーキテクトがインフラとガバナンスを統合しつつ、データアナリストやBIチームは最新かつ網羅的なデータにアクセスし、ネイティブなAI/BI機能と既存のお気に入りのBIツールを組み合わせてインサイト創出を加速できる方法を理解できます。​

スケーラブルな基盤を構築している段階であっても、ビジネス向けのインサイト提供に注力している段階であっても、このワークショップはアナリティクス基盤をモダナイズし、AI駆動のBIを現実のものにすることを支援するよう設計されています。​

このワークショップで学べる内容：​

• Data Intelligence Platform と Databricks SQL が、どのように統合されたマルチクラウド・レイクハウスアーキテクチャを支えるか​
• Databricks SQL を使って、レイクハウス全体のコンピュート、データアクセス、ユーザーを管理・監視する方法​
• データチームやアナリストが、組み込みのSQLエディタやAI/BI、あるいは好みのBIツールを使って、データレイク上のデータを直接クエリする方法​
• AI支援コード補完、自動ダッシュボード作成、AI/BI Genie による自然言語クエリといったAI支援機能を活用し、生産性を高めてセルフサービスアナリティクスをスケールさせる方法​