2024年8月30日

Databricksノートブックの画像：私の鮮やかな夏のインターンシップ

私のプロジェクトとDatabricksでの夏のインターンとしての経験

Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.

このブログ投稿を書いている時点で、私はDatabricksの探索的データ分析（EDA）チームでの夏のインターンシップが終わるまであと一週間です。夏がこんなに早く過ぎ去ったなんて信じられません。まるで昨日のことのように、私がチームのリポジトリをクローンし、オンボーディングの仲間に助けを求めていたように感じます！12週間の間に、私は一つのテーマを基にした三つのプロジェクトフェーズを完成させました：Databricksノートブックで画像を操作するユーザーエクスペリエンスを改善すること。

Databricksノートブック

あなたがコードを通じてデータと交流したことがあるなら、おそらくノートブックを使用したことがあるでしょう。ノートブックはPython、SQL、Scala、Rのコードエディタの一種で、データサイエンスや機械学習でデータを抽出し使用する手段として一般的です。データ＋AIの会社として、Databricksはプラットフォームと深く統合された独自のノートブックを顧客に提供しています。

Databricksノートブックとは何ですか？

Databricksのノートブックは、コードエディタ、メニューアイテム、Databricksアシスタントなど、他のノートブックがサポートする一般的な機能をサポートしています。しかし、Databricksノートブックの特別な点は、Databricksの他の製品：ジョブ、Delta Live Tables（DLTs）、Generative AI（GenAI）の事前学習と微調整などと非常によく統合されていることです。顧客はDatabricksのノートブックを使用してDatabricksの全てのオファリングにアクセスするため、シームレスなノートブック体験（これがEDAチームが重視するもの）を作り出すことは、Databricksが顧客のためにデータの力を解放するための重要な要素です。

私のインターンプロジェクトはどのような問題に取り組みましたか？

Databricksのノートブックは成熟した製品ですが、どんな製品でも常に改善するべきことがあります！データを洞察に変えることは、数字を crunching するだけでなく、物語を伝えることも重要であり、画像はその重要な部分です。さらに、GenAIがビジョンや画像生成などの異なる領域に拡大するにつれて、画像やビデオを使用したモデルのトレーニングと微調整がますます一般的になっています。Databricksは最近、特定のビジネスニーズに基づいて高品質のカスタム画像を生成するShutterstock ImageAIをリリースしました。

世界中の研究者やエンジニアが、マルチメディアファイルを含む無数のアプリケーションに対して毎日Databricksのノートブックを使用しています。しかし、最近までノートブックでマルチメディアファイルを扱うのは面倒でした。例えば、顧客はノートブックのマークダウンセルに画像を埋め込むための回り道を見つけなければならず、ファイルブラウザから画像を開くことすらできませんでした。

ファイルブラウザから任意の画像を開こうとするとエラーが発生し、ノートブックのユーザーエクスペリエンスが中断されます — Attempting to open any image from the file browser throws an error and interrupts the notebook user experience

私の夏のインターンプロジェクトは、Databricksノートブックで画像を操作するユーザーエクスペリエンスを改善することに焦点を当てていました。以下は、私がこの夏に展開した主要な機能です。

主要な機能

ノートブックのマークダウンに画像を埋め込む

私たちは、よりユーザーフレンドリーで標準的なマークダウン形式でマークダウンセルに画像を埋め込む機能を追加しました。今では、顧客は相対パスと絶対パスの両方で画像を埋め込むことができます（ワークスペースファイルの場合は/Workspace、ボリュームファイルの場合は/Volumes）。これにより、顧客はデータの視覚化、画像トレーニング、またはネコのコミックリリーフのために、ノートブックに画像を導入する際の柔軟性が増します。

ノートブックのマークダウンに相対パスと絶対パスを使用して画像を埋め込む — Embedding images in notebook markdown using relative and absolute paths

ノートブックのセルに画像をドラッグ＆ドロップ

顧客が自然に行う行動は、ノートブックに画像をドラッグ＆ドロップすることです。以前は、画像をDatabricksのノートブックにドラッグアンドドロップすると、新しいブラウザタブで画像が開かれ、顧客のフローが中断され、画像の使用が容易でなくなっていました。

今、ノートブックのマークダウンセルに画像をドラッグアンドドロップすると、自動的に画像がワークスペースのファイルシステムにアップロードされ、セルに埋め込まれます！

ローカルマシンからマークダウンセルに画像をドラッグ＆ドロップする — Dragging & dropping an image from the local machine into a markdown cell

Databricksのスピーディな性質と迅速な製品のイテレーションのおかげで、私のインターンシップの終わりまでにプロジェクトの主要な機能のほとんどを完全に展開することができました！このような大きな顧客への影響をインターンとして持つことは、この夏まで私の頭には全く浮かびませんでしたが、わずか3ヶ月の間に私たちの製品に明確な影響を与える機会を持つことができて非常に感謝しています。

私のインターンシップ体験

私のインターンプロジェクトだけが、この夏に私ができたことではありませんでした！2024年のData + AI Summit (DAIS)に参加したり、Databricks Assistantと一緒にクールなハッカソンプロジェクトに取り組んだり、シアトルの新しく拡大しているDatabricksオフィスを訪れたり、インターンクラスと多くの美味しい食事に行ったりする機会がありました。

この夏、私はデータ+AIの分野で業界のリーダーたちと出会い、学び、一緒に働く機会を得ました。さらに、大勢の活気あるインターンクラスと交流することで、新しい技術に対する興奮がこれまで以上に高まりました。ここで過ごした時間の中で、本当に一生の友人を作ったと言っても過言ではありません。

私のメンターであるRichard Fung、マネージャーのNeha Sharma、Workspace orgディレクターのTed Tomlinson、そしてEDAチームの他のメンバーに特別な感謝を述べたいと思います。私のチームメンバーは皆、非常に知識が豊富でありながら謙虚で、私のマイナーな機能デモを一つ一つ見てくれ、プロジェクトの機能を改善するための詳細なフィードバックを提供してくれました。彼らから学んだ貴重なスキルは、私のキャリアの残りの部分で役立つでしょう。

あなたが興味深く、影響力のある製品を作ることに情熱を持っているなら、Databricksでの仕事に応募することをお勧めします！現在の求人情報はDatabricks Careersページでご覧いただけます。