Google Cloudでノートブック、ワークフロー、パイプライン向けのサーバーレスコンピュートが一般利用可能に！

データエンジニアリングと分析の急速に進化する環境において、速度、スケーラビリティ、シンプルさは非常に貴重です。サーバーレスコンピュートは、インフラ管理の複雑さを排除し、インパクトのあるデータ駆動型ソリューションの構築に集中できるようにすることで、これらのニーズに応えます。ノートブック、ワークフロー、DLTパイプライン向けのサーバーレスコンピュートがGoogle Cloudで一般公開されたことを発表できることを嬉しく思います。これにより、ユーザーは複雑なインフラを管理することなく、すべての主要なクラウドプラットフォームで分散コンピューティングの恩恵を享受できるようになります。

Databricks Serverless Computeとは何ですか？

Databricksのサーバーレスコンピューティングは、スケーラブルで安全な実行レイヤーであり、ノートブック、ワークフロー、およびDelta Live Tables（DLT）パイプラインを実行するための設定、最適化、管理の必要性を排除します。サーバーレスコンピューティングでは、リソースが自動的にプロビジョニングされるため、次のことが可能です：

• 運用オーバーヘッドの削減： クラスターの手動設定や管理は不要です。
• パフォーマンスまたはコストを最適化: ワークロードに割り当てられたときだけコンピューティングの料金を支払います。現在、サーバーレスはパフォーマンスの最適化を行っています。また近く、コスト最適化モードを選択できるようになり、インフラストラクチャを自動的に最適化してコストを削減します。
• 生産性を向上させる: ビジネス問題の解決に集中しながら、ワークロードを努力なくスケールアップします。

サーバーレスコンピューティングを最大限に活用するための詳細なガイダンスについては、サーバーレスコンピューティングのベストプラクティスをご覧ください。

コストと使用状況の監視

サーバーレスコンピューティングの従量課金モデルはコスト効率が良いですが、Google Cloudでの支出をコントロールするための簡単な方法もいくつかあります：

• システムテーブル: 詳細な使用データをクエリして、高コストのワークロードとユーザーを特定します。
• AI/BI コストダッシュボード： ワークスペース、SKU、またはタグごとの使用傾向を視覚化し、さらなる分析のためのレポートをダウンロードします。
• アラート：予算の閾値を設定して、支出が限度を超えたときに通知を受け取ります。
• 予算ポリシー： ワークロードに対するタグ要件を強制します。

詳細な手順については、サーバーレス計算コストの監視とアカウント支出の監視に予算を使用するに関するガイドをご覧ください。

“Google Cloud上のサーバーレスDLTパイプラインは、Uplightでのアプローチを再定義し、ETLワークロードを2倍以上の速度で実行しながらコストを抑えることを可能にしました。サーバーレスコンピューティングの使いやすさ、自動最適化、効率性は、スケーリングをより管理しやすくし、私たちが顧客に価値を提供することを優先できるようにします。”— Micaela Christopher, データサイエンス＆エンジニアリングディレクター, Uplight

 

Google CloudはDatabricksの密接なパートナーです。エンジニアリングチーム間の協力により、Google CloudのCompute EngineとHyperdisk、そしてDatabricks Data Intelligence Platformとの間に密接な統合が実現しました。結果として、データとAIワークロードに対する高性能で効率的なインフラストラクチャが得られます。Databricksの顧客は、ServerlessまたはClassic Computeを使用しているかどうかに関係なく、これらの利点をGoogle Cloudで実現できます。Google CloudでのDatabricks Serverlessの利用可能性に続いて、今後数週間でGoogle AxionプロセッサーとC4A VMをフルサポートしたDatabricks Classicを提供することを楽しみにしています。

「私たちはDatabricks Serverless ComputeをGoogle Cloudに導入することを楽しみにしており、これは私たちがオープンスタンダードに対するコミットメントを強調しています。「私たちのパートナーシップを通じて、AIを用いたイノベーションを加速するために必要なツールを選択する柔軟性をお客様に提供することに全力を尽くしています。これには、Googleの高度なAxionプロセッサーやC4A仮想マシンへのアクセスも含まれます。」— Ritika Suri、Google CloudのAI＆データパートナーシップマネージングディレクター。

今日からServerless Computeの力を解放しましょう

Databricksのサーバーレスコンピューティングは、単なるインフラストラクチャソリューション以上のものであり、データチームがより速く革新することを可能にします。移行のベストプラクティスに従い、摂取を最適化し、コストを監視することで、サーバーレスコンピューティングの可能性を最大限に引き出しながら、予算をチェックすることができます。

アカウント管理者は、設定→機能有効化の下でワークフロー、ノートブック、DLTパイプラインに対してサーバーレスコンピューティングを簡単に有効にすることができます。

Google Cloud上のDatabricks Serverless Computeは、安全でAI対応のインフラストラクチャ上で速度、スケーラビリティ、シンプルさを提供します。GoogleのAIファーストアプローチと20年にわたるAIの革新を活用し、セキュリティとAIに最適化されたグローバルインフラストラクチャへのアクセスを提供し、AI/MLシステムとデータストレージ間の強力なシナジーを可能にします。このプラットフォームは、ビジネスがデータのサイロを排除し、深層学習を活用して最適化し、重要な戦略的成果を達成することを可能にします。詳しくは、ドキュメンテーションを深く掘り下げて、サーバーレスコンピューティングを有効にし、その強力な機能を探索してください。