データとAIの専門家、オープンソースの貢献者、研究者による700以上の技術セッションから選択してください
によって Denny Lee による投稿
DATA + AI SUMMIT 2025は数週間後に迫っています！今年、私たちはこれまでで最大のセッションを提供しており、700以上から選ぶことができます。サンフランシスコでの対面参加またはバーチャル参加を登録してください。
オープンソースに根ざしたキャリアを持つ私は、オープンテクノロジーやフォーマットが企業戦略にどんどん中心的な役割を果たすようになっていることを直接見てきました。Apache Spark™やMLflowへの長年の貢献者であり、Delta LakeやUnity Catalogのメンテナーとコミッターであり、最近ではApache Iceberg™への貢献者として、業界で最も優れた頭脳の一部と共に働く機会を得てきました。
今年のセッションでは、オープンソースとAIの交差点に焦点を当てています - 特にマルチモーダルAIに関心があります。具体的には、Delta LakeやIcebergのようなオープンテーブル形式と、Unity Catalogを通じた統一されたガバナンスが、リアルタイムで信頼性のあるAIと分析の次の波を推進しています。
近日公開のApache Spark 4.1：統合分析の次の章
Apache Spark™は、シンプルでありながら強力なAPIと豊富なエコシステム、そして最高のパフォーマンスを組み合わせた、トップクラスのオープンソース統合分析エンジンとして長らく認識されてきました。次のSpark 4.1リリースでは、コミュニティはSparkを大規模なクラスター展開とローカルのラップトップ開発の両方で優れたものにするために再構想します。聞いて、次の人に質問してください：
地理空間は、レイクハウス形式にとってますます重要になっています。Wherobots Inc.の共同創設者であり最高技術責任者のJia Yu氏と、DatabricksのソフトウェアエンジニアであるSzehon Ho氏から、Apache Iceberg™の地理空間データ型に関する最新かつ最高の情報を学びましょう。
クラウドネイティブデータ取り込みで大量のお金を節約しましょう！
R. Tyler CroyさんはScribdの社員で、Delta Lakeのメンテナーであり、delta-rsの創設以来のシェパードです。彼は、ScribdがAWS Aurora、SQS、Kinesis Data Firehoseなどからデータを取り込むために採用したクラウドネイティブアーキテクチャについて詳しく説明します。kafka-delta-ingest、oxbow、Airbyteなどの既製のオープンソースツールを使用することで、Scribdはその取り込みアーキテクチャをよりイベント駆動型、信頼性の高い、そして何よりもコスト効率の良いものに再定義しました。ジョブは必要ありません！
このセッションでは、レイクハウスアーキテクチャの価値提案と、Rust/Arrow/Pythonエコシステム内のコスト効率について深掘りします。事前に視聴をおすすめするビデオは以下の通りです：
DaftとUnity Catalog：マルチモーダル/AIネイティブレイクハウス
マルチモーダルAIは、データが単なるテーブル以上のものであるという事実により、風景を根本的に変えるでしょう。ワークフローは現在、ドキュメント、画像、オーディオ、ビデオ、埋め込み、URLなどをしばしば含むようになりました。
このセッションは、Eventualの共同創設者であるJay Chiaさんから、Daft + Unity Catalogが認証、認可、データの系譜を統一し、Daftという人気のマルチモーダルフレームワークを使用してガバナンスの全体像を提供する方法を示します。
ビッグデータとAIの橋渡し：マルチモーダルAIデータパイプラインのためのLance Formatを用いたPySparkの強化
PySparkは長らくビッグデータ処理の基石でしたが、マルチモーダルAIとベクトル検索の台頭により、その能力を超える課題が生じています。Sparkの新しいPythonデータソースAPIは、マルチモーダルLance形式を基盤とした新興AIデータレイクとの統合を可能にします。
このセッションでは、Lance形式がどのように機能し、なぜそれがマルチモーダルAIデータパイプラインの重要なコンポーネントであるかについて詳しく説明します。Apache Spark™のコミッターであるAllison Wang氏と、LanceDBデータベースエンジニアでありAlluxio PMCメンバーであるLi Qiu氏が、Apache Spark（PySpark）とLanceDBを組み合わせることでマルチモーダルAIデータパイプラインを進化させる方法について深掘りします。
DSPy開発の効率化：MLflowを用いたトラッキング、デバッグ、デプロイ
Chen Qianさん、Databricksのシニアソフトウェアエンジニアが、MLflowとDSPyを統合してDSPy開発に完全な可視性をもたらす方法を示します。
DSPyモジュールの呼び出し、評価、および最適化をMLflowのトレーシングと自動ログ機能を使用して追跡する方法を見ることができます。これら2つのツールを組み合わせることで、DSPyのワークフローをデバッグ、反復、理解しやすくなり、DSPyプログラムをエンドツーエンドでデプロイすることが容易になります。
コード補完から自律的なソフトウェアエンジニアリングエージェントへ
Kilian Lieretさん、プリンストン大学の研究ソフトウェアエンジニアが最近、Data Brewビデオキャストのゲストとして、ソフトウェアエンジニアリングにおけるAIの評価と強化のための新しいツールについての興味深い議論を行いました。
このセッションでは、KilianがSWE-bench（ベンチマーキングツール）とSWE-agent（エージェントフレームワーク）、開発者向けのエージェントAIの最前線、AIエージェントの実験方法について深掘りします。
常に素晴らしいSharon Zhou氏、LaminiのCEO兼創設者が、小型言語モデル（SLMs）とミニエージェントを使用してMixture of Memory Exports（つまり、MoMEが最善を知っています！）を用いて幻覚を減らす方法について議論します。
この楽しいData Brew by DatabricksエピソードでSharonが特集されているMoMEについてもう少し詳しく知ってみてください：Mixture of Memory Exports。
トレードオフを超えて：表形式データ合成における差分プライバシー
差分プライバシーは、データの背後にいる個々のプライバシーを保護するための数学的保証を提供する重要なツールです。このトークでは、Gretel.ai（現在はNVIDIAの一部）のLipika Ramaswamy氏が、ソースデータに高い忠実度を保ち、異質なデータセット全体での下流タスクに高い有用性を持つ、差分プライバシーを持つ合成データを生成するためのGretel Navigatorの使用について探求します。
このトピックについての良い事前読み：
ドキュメントワークフローを自動化するための知識エージェントの構築
LLMエージェントの最大の約束の一つは、非構造化データに対するすべての知識作業を自動化することです - これらを「知識エージェント」と呼んでいます。Jerry Liu、LlamaIndexの創設者は、ドキュメントワークフローを自動化するための知識エージェントの作成方法について深く掘り下げます。これは時として実装が複雑になることがありますが、Jerryはこれを基本的なビジネスプロセスのた めの簡略化されたフローにする方法を示しています。
半合成データを使用したヘルスケアでのAIモデル構築: Fight Health Insurance INCの共同創設者であるHolden Karau氏が、AIを使用してヘルスケアの書類の洪水と戦う方法について語ります。
デルタレイクストリーミングへのヒッチハイクガイド：エージェンティックな宇宙で Scott Hainesさん、NikeのDistinguished Software Engineerが、デルタレイク（および一般的なレイクハウス）を基盤としたストリーミングがエージェンティックシステムへの推進にとって基本的である方法について語ります。
Simon + Denny - 無修正＆即興: Simon Whiteleyと私が再び一緒になりますので、質問を持ってきてください、答えを持っていることを願っています！
Apache Spark AMA: Apache Spark™に関する質問を持ってきてください - 私たちは答えを持っています！
RustとLakehouse FormatのAMA: Rustaceanとして、Apache Iceberg™やDelta Lakeのようなレイクハウス形式について詳しく説明し、それらが次世代のデータ処理エンジンの創造をどのように支援しているかについて説明したいと思います。
サンフランシスコでお会いできることを楽しみにしています。今すぐ登録して、これらのセッションをはじめ、多くのセッションをお見逃しなく！
ブログを購読して、最新の投稿を受信トレイにお届けします。