によって Zaheera Valani による投稿
2021年11月、私たちはシアトルR&Dサイトの開設と、Databricksインテリジェンスプラットフォームを構築するためのエンジニアを採用する計画を発表しました。現在、ベルビューとシアトルには数百人のエンジニアが在籍し、インフラの最適化からGenAIのユースケース、顧客がより迅速に知見を生成できるように支援する機能まで、ミッションクリティカルな取り組みに従事しています。
これらの取り組みはすべて、データとAIをシンプルにして民主化し、 顧客 が世界で最も困難な問題を解決できるよう支援するという、Databricksの目標に沿ったものです。 次世代交通手段の実現 から医療の画期的な進歩の加速まで、世界最高のデータ・AIインフラプラットフォームの構築と運用を通じて、 顧客 の成功を支援します。
4周年を記念して、私たちのオフィスで進行中の革新的な取り組みの事例をご紹介します！
AIを活 用したデータサイエンスとアナリティクス
Databricksは、AIネイティブのデータサイエンスとアナリティクス体験を進化させ続け、ユーザーによるデータの探索、コードの記述、データパイプラインの構築を効率化しました。
今年、チームは以下を含むいくつかの主要な機能をリリースしました。
シアトルのエンジニア、Michael Piatek、Tomas Isdal、Weston Hutchins、Zhong Chenの協力によるものです。
インテリジェントなアナリティクスの民主化
Databricks AI/BIは、完全なAI搭載BIエクスペリエンスを提供します。豊富なダッシュボード機能とレポート機能を、自然言語の質問を知見に変換する対話型インターフェースであるGenieと組み合わせています。
最近の主な機能：
シアトルのエンジニアであるKanit Wongsuphasawat、Justin Talbot、Miranda Luna、Amir Hormati、Yi Liu、Alnur Ali、Clark Wildenradtの協力のもと構築されました。
AI 時代のデータウェアハウジング
Serverless Apache Sparkチーム、 がサポート するのは、DatabricksのすべてのServerless Sparkベースのアプリケーションです。
チームは、1日に数百万ものVMを実行可能な、信頼性の高いプラットフォームの構築に重点を置いており、同時にワークロードが効率的に実行されることも確保しています。主なプロジェクト:
エンジニアのミッチェル・ウェブスター、レフ・ノビック、アクシャイ・シングラ、スワパンディープ・シン、アンウェル・ワンが主導。
オープンなデータ共有とコラボレーション
AIの根幹をなすのはデータです。そして、データを拡充するために外部に目を向ける必要性が、企業の間でますます高まっています。
ベルビューのチームは、Delta Sharing、Databricks Marketplace（シアトル拠点のエンジニアがゼロから構築）、Databricks Cleanroomsなど、Databricksの中核的なデータ共有製品に取り組んできました。
その影響は、すでに実社会でも見られます。Mastercardの講演を聞き、Databricks Clean Roomsがいかに機密データに関する安全かつ大規模なコラボレーションに役立っているかをご覧ください。
最近の進歩により、オープンなコラボレーションはさらに強力になりました：
シアトルのエンジニア Mengxi Chen、Moe Derakhshani、Qihua Wang、Tao Taoは、これらのデータ共有およびコラボレーション機能の構築において中心的な役割を果たしてきました。
パフォーマンスと効率の最適化
世界で最も高性能で信頼性の高いインフラストラクチャ上で稼働していなければ、Databricksがクラス最高の製品を提供することはできません。シアトルのエンジニアによって構築された、インフラストラクチャにおける大きな進歩のいくつかを以下にご紹介します。
私たちの取り組みについて、さらに詳しくはこちら：
Anders Liu、Max Wolffe、Shuo Chen、Shuai Changは、Node Platformチームを率い、すべてのDatabricks製品向けのコンテナインフラを構築し、マシンの安全性と信頼性を維持し、フリート全体の効率向上に貢献しました。
マネーチーム：ビジネスとテクノロジーの交差点
マネーチームは、Databricksの財務活動の根幹をなすシステムを担っています。このチームは、サポートするビジネスモデルの進化、市場投入の迅速化、買収企業の統合、不正利用や乱用からの保護を通じて、Data + AI製品を持続可能なビジネスへと転換させるエンドツーエンドのプロセスを担っています。
このチームは、世界で唯一のクロスクラウド統合評価エンジンを構築しました。このエンジンは、AWS、Azure、GCP、SAPなどの自社およびサードパーティのパートナーからの何兆もの使用イベントを処理でき、85以上のリージョンで稼働する単一のプラットフォームにすべてが統合されています。その処理速度は、業界の同業他社より桁違いに高速です。この 偉業が可能になったのは、Databricksの革新的なData + AI製品を基盤にシステムを開発し、R&Dチームと緊密に協力して製品を進化させる新たな要件を推進してきたからです。
さらに、Moneyチームは、業界 唯一の 真のフリートライアル（クレジットカード不要）を提供することで、Data + AIの民主化というDatabricksのミッションの中核を担ってきました。これは、最新のテクノロジーを学びたいものの、潤沢な予算がない学生や開発者にとって強力なツールです。私たちは、Databricks製品を不正利用や意図しない使用から保護する最先端の承認制御システムによってこれを可能にしています。
私たちの取り組みとチームについての詳細はこちら：
マネーチームは、シアトルのエンジニアであるKazi Al-Rashid、Li Xiong、Mahesh Venkataramani、そして製品リードのGreg Kroleskiのリーダーシップのもとで構築されました。
私たちは成長を続けています！
ベルビューとシアトルのエンジニアリングチームが過去4年間に遂げた進歩を大変嬉しく思います。AI/BIからMoneyチームに至るまで、ここのチームはプラットフォームで最も複雑なシステムを構築し、当社の最も戦略的な製品イニシアチブのいくつかを推進しています。大規模で困難な問題の解決に興味がある方は、ベルビュー/シアトルおよびR&Dの各拠点で採用を行っています。募集中の職種についての詳細は、採用情報ページをご覧ください。
ブログを購読して、最新の投稿を受信トレイにお届けします。