AIエージェントとインテリジェンスアプリの未来を築く：DatabricksシアトルR&Dの4周年を記念して

2021年11月、私たちはシアトルR&Dサイトの開設と、Databricksインテリジェンスプラットフォームを構築するためのエンジニアを採用する計画を発表しました。現在、ベルビューとシアトルには数百人のエンジニアが在籍し、インフラの最適化からGenAIのユースケース、顧客がより迅速に知見を生成できるように支援する機能まで、ミッションクリティカルな取り組みに従事しています。

これらの取り組みはすべて、データとAIをシンプルにして民主化し、 顧客 が世界で最も困難な問題を解決できるよう支援するという、Databricksの目標に沿ったものです。 次世代交通手段の実現 から医療の画期的な進歩の加速まで、世界最高のデータ・AIインフラプラットフォームの構築と運用を通じて、 顧客 の成功を支援します。

4周年を記念して、私たちのオフィスで進行中の革新的な取り組みの事例をご紹介します！

AIを活用したデータサイエンスとアナリティクス

Databricksは、AIネイティブのデータサイエンスとアナリティクス体験を進化させ続け、ユーザーによるデータの探索、コードの記述、データパイプラインの構築を効率化しました。

今年、チームは以下を含むいくつかの主要な機能をリリースしました。

• Lakeflow Designer: ローコードのドラッグアンドドロップインターフェースを通じてセルフサービスのビジネスアナリティクスを可能にする新しい製品体験です。DesignerはAIネイティブな体験を提供するためにゼロから構築されており、完全なdata intelligence platformを活用して、AIが生成した正確な応答を提供します。ビジュアルワークフローのすべては、基盤となるSQLファイルで表現され、CI/CD、バージョン管理、データチーム間のコラボレーションのためにGitに保存できます。
• Data Science Agent（Databricks Assistant内）：Assistantを対話型のヘルパーからデータサイエンスの実践的なパートナーへと変える、新しい自律型ワークフローモードです。ユーザーはAgentに、データの探索、コードの生成とラン、機械学習モデルのトレーニングと評価、エラーの解決を依頼できます。
• 新しい SQL エディターの一般提供: SQL アナリストに、より高速な実行、リアルタイム コラボレーション、画面分割編集、結果の可視化の改善、SQL 作成用 Databricks Assistant との緊密な連携によって、統一された最新の作成体験を提供します。 

シアトルのエンジニア、Michael Piatek、Tomas Isdal、Weston Hutchins、Zhong Chenの協力によるものです。

インテリジェントなアナリティクスの民主化

Databricks AI/BIは、完全なAI搭載BIエクスペリエンスを提供します。豊富なダッシュボード機能とレポート機能を、自然言語の質問を知見に変換する対話型インターフェースであるGenieと組み合わせています。

最近の主な機能：

• Genie + Genie Research Agentの一般提供開始：ファイルuploadによる新たなアドホック分析、評価とベンチマークのサポート、高品質な回答を実現するための大幅な精度向上。チームはまた、多段階の推論と仮説検証を用いて、複雑なビジネス上の質問に対してより深いデータ知見と回答を提供するGenie Research Agentもリリースしました。
• 埋め込みアナリティクス：多くの組織では、最も価値のあるアナリティクスとは、顧客、サプライヤー、パートナーと共有する必要があるものです。Databricksのお客様は、Databricksに既に存在するダッシュボードを、顧客やパートナー向けのアプリケーション内に直接配置できるようになりました。このエクスペリエンスは完全にインタラクティブかつライブであり、使用量ベースの価格設定により、お客様は予測不能な料金を発生させることなく、何千人もの閲覧者にアナリティクスを拡張できます。
• チームのAI/BIにおける最新のイノベーションについての詳細は、こちらをご覧ください。 

シアトルのエンジニアであるKanit Wongsuphasawat、Justin Talbot、Miranda Luna、Amir Hormati、Yi Liu、Alnur Ali、Clark Wildenradtの協力のもと構築されました。

AI 時代のデータウェアハウジング 

Serverless Apache Sparkチーム、 がサポート するのは、DatabricksのすべてのServerless Sparkベースのアプリケーションです。 

チームは、1日に数百万ものVMを実行可能な、信頼性の高いプラットフォームの構築に重点を置いており、同時にワークロードが効率的に実行されることも確保しています。主なプロジェクト: 

• 過去の使用状況を活用し、Serverless Spark クラスターのセッションビンパッキングを改善
• ユーザーのワークロードに基づき、Sparkと緊密に統合することでSparkクラスターを水平・垂直にスケーリングし、クラス最高の価格性能を提供
• 需要を分析してコンピュートを適宜プレウォームすることで、O(秒)単位の低レイテンシプロビジョニングを実現
• ServerlessとClassic間の機能的な差異をなくすことで、Serverless利用の障壁を撤廃（例：予算ポリシー、コスト管理、インスタンスプロファイルなど）

エンジニアのミッチェル・ウェブスター、レフ・ノビック、アクシャイ・シングラ、スワパンディープ・シン、アンウェル・ワンが主導。

オープンなデータ共有とコラボレーション 

AIの根幹をなすのはデータです。そして、データを拡充するために外部に目を向ける必要性が、企業の間でますます高まっています。

ベルビューのチームは、Delta Sharing、Databricks Marketplace（シアトル拠点のエンジニアがゼロから構築）、Databricks Cleanroomsなど、Databricksの中核的なデータ共有製品に取り組んできました。

その影響は、すでに実社会でも見られます。Mastercardの講演を聞き、Databricks Clean Roomsがいかに機密データに関する安全かつ大規模なコラボレーションに役立っているかをご覧ください。

最近の進歩により、オープンなコラボレーションはさらに強力になりました：

• Delta Sharingのイノベーション：Icebergとの完全な相互運用性、組織間の接続を簡素化する新しいDelta Sharingネットワークゲートウェイ、属性ベースのアクセス制御（ABAC）を用いた共有に対するきめ細かなガバナンス。これらの改善により、プロバイダーは管理されたデータを大規模に多数の受信者と容易に共有できるようになります。 
• モデルとエージェントの共有 - プロバイダーはDatabricks MarketplaceにMCPを公開できるようになり、MCPツールを簡単に見つけて接続し、AI開発を加速させることができるようになりました。
• クリーンルームの機能強化：高度なプライバシー承認機能を備えたマルチパーティコラボレーションがGA（一般提供）となりました。また、クリーンルームは主要なIDパートナーと統合し、プライバシーを重視したID解決を可能にします。これらの新機能により、プライバシーを保護するコラボレーションにおいてクリーンルームはさらに強力になります

シアトルのエンジニア Mengxi Chen、Moe Derakhshani、Qihua Wang、Tao Taoは、これらのデータ共有およびコラボレーション機能の構築において中心的な役割を果たしてきました。 

パフォーマンスと効率の最適化

世界で最も高性能で信頼性の高いインフラストラクチャ上で稼働していなければ、Databricksがクラス最高の製品を提供することはできません。シアトルのエンジニアによって構築された、インフラストラクチャにおける大きな進歩のいくつかを以下にご紹介します。

• VM を超高速で起動できる、高度にカスタマイズされた軽量なオペレーティングシステム
• Sparkを数秒でウォームアップできる特殊なコンテナランタイム
• LLMの重みを高速に取得できる、特殊なコンテナスナップショッター
• バイナリを10Tbpsで配布する、拡張性の高いコンテナレジストリ

私たちの取り組みについて、さらに詳しくはこちら：

• Serverless コンピュート向けにDatabricks VMの起動を7倍高速化
• Serverlessに最適化されたアーティファクト Registryから、毎日数千万のコンテナイメージをdownload

Anders Liu、Max Wolffe、Shuo Chen、Shuai Changは、Node Platformチームを率い、すべてのDatabricks製品向けのコンテナインフラを構築し、マシンの安全性と信頼性を維持し、フリート全体の効率向上に貢献しました。

マネーチーム：ビジネスとテクノロジーの交差点

マネーチームは、Databricksの財務活動の根幹をなすシステムを担っています。このチームは、サポートするビジネスモデルの進化、市場投入の迅速化、買収企業の統合、不正利用や乱用からの保護を通じて、Data + AI製品を持続可能なビジネスへと転換させるエンドツーエンドのプロセスを担っています。

このチームは、世界で唯一のクロスクラウド統合評価エンジンを構築しました。このエンジンは、AWS、Azure、GCP、SAPなどの自社およびサードパーティのパートナーからの何兆もの使用イベントを処理でき、85以上のリージョンで稼働する単一のプラットフォームにすべてが統合されています。その処理速度は、業界の同業他社より桁違いに高速です。この偉業が可能になったのは、Databricksの革新的なData + AI製品を基盤にシステムを開発し、R&Dチームと緊密に協力して製品を進化させる新たな要件を推進してきたからです。

さらに、Moneyチームは、業界 唯一の 真のフリートライアル（クレジットカード不要）を提供することで、Data + AIの民主化というDatabricksのミッションの中核を担ってきました。これは、最新のテクノロジーを学びたいものの、潤沢な予算がない学生や開発者にとって強力なツールです。私たちは、Databricks製品を不正利用や意図しない使用から保護する最先端の承認制御システムによってこれを可能にしています。 

私たちの取り組みとチームについての詳細はこちら：

• 私たちがどのようにして運用負担を軽減し、イノベーションへの投資を増やしたか
• 顧客向けコスト管理ツールのローンチ事例
• プロダクトマネジメントリードが語る、Databricksを信じる理由 

マネーチームは、シアトルのエンジニアであるKazi Al-Rashid、Li Xiong、Mahesh Venkataramani、そして製品リードのGreg Kroleskiのリーダーシップのもとで構築されました。

私たちは成長を続けています！

ベルビューとシアトルのエンジニアリングチームが過去4年間に遂げた進歩を大変嬉しく思います。AI/BIからMoneyチームに至るまで、ここのチームはプラットフォームで最も複雑なシステムを構築し、当社の最も戦略的な製品イニシアチブのいくつかを推進しています。大規模で困難な問題の解決に興味がある方は、ベルビュー/シアトルおよびR&Dの各拠点で採用を行っています。募集中の職種についての詳細は、採用情報ページをご覧ください。