簡単にコストを最適化する方法

Databricksは、他のソリューションのコストのほんの一部で膨大なデータの処理を可能にする、オープンで統合されたプラットフォームとして構築されました。データとAI分野のイノベーターとして、私たちは常に技術を前進させ、パフォーマンス、効率性、そして最も重要なROIの向上を実現する新しい方法を模索しています。

私たちはデータの会社です。お客様には、どのように自社の組織が当社のプラットフォームを活用しているか、また、Databricks上でデータやAIプロジェクトの価値を最大化する機会がどこにあるかを把握していただきたいと考えています。

Databricksの利用状況を理解し、管理する

まず私たちの事前構築されたAI/BIコストダッシュボードを使用してシステムのテーブル内の請求およびコストデータを理解するプロセスを一緒に見ていきましょう。さらに、タグ付けのベストプラクティスを使って消費データを整理し、組織、ビジネスユニット、またはプロジェクト単位で支出を管理するための予算を作成します。

システムテーブル - 強力なデータソース

使用状況を理解するための最初のステップは、それに関するデータにアクセスすることです。Databricksは、システムテーブルという形で使用データを提供します。これは、アカウントの運用データを格納するDatabricksホストの分析ストアです。この投稿では、請求システムテーブル内のデータを使用する方法に焦点を当てます。

 タグ付け - コストを整理する最良の方法

Databricksの利用が進むにつれて、チーム、プロジェクト、部門ごとにコストを分けて、コストが生み出す価値に結びつけやすくしたいと思うでしょう。そのためには、柔軟なキーと値のペアを作成できるタグを使用することをお勧めします。タグは、クラスター、SQLウェアハウス、ジョブ、サーバーレスワークロードに適用できます。タグは、Databricks環境で何が起きているかを追跡する最良の方法です。

通常は、最初にビジネスユニットやプロジェクトに関連する使用状況を追跡するための一般的なキーから始め、その後、データやAIイニシアティブを最適化するために必要に応じて、より具体的なタグに進むのが良いでしょう。各キーに対する値を事前に定義します。ポリシーを使用してタグのキーと値のペアの使用を強制し、事前定義されたリストでタグの値を制御します。その後、ダッシュボードを使用してタグの値別に使用状況を確認し、まだタグが付けられていないワークロードを特定できます。

タグはポリシーを使用して強制できます。これにより、新しいオブジェクトにタグを付けることを要求でき、完全性と正確性を維持するのに役立ちます。

 予算アラート - 異常を先取りして管理

最後に、コスト管理ダッシュボードやGenieで全ての時間を費やしたくないということも理解しています。そのため、私たちは予算機能を作成しました。組織全体、特定のワークスペース、またはタグを使用して特定のビジネスユニットやプロジェクトに予算を割り当てることができます。

予算を作成したら、使用量が計画されたレベルを超えたときに、組織内の人々やチームに通知するためのメールアラートを設定できます。その後、ダッシュボードを使用して、どのプロジェクト、ワークロード、またはユーザーが追加の使用量を引き起こしたかを特定できます。

AI/BIコストダッシュボード - トレンドを可視化して理解する

コストを迅速に理解できるように、使用状況を時間経過で確認し、ワークスペースやSKUを掘り下げて見ることができる事前構築されたAI/BIダッシュボードを用意しました。これにより、コストのトレンドを把握し、迅速に改善が必要な領域を特定することができます。

AI/BI Genie - さらに深堀り

時にはダッシュボードだけでは探している答えが見つからないことがあります。AI/BI Genieは、支出トレンド、異常、コスト削減の提案を自然言語インターフェースを通じて提供することができます。

今日から節約を始めましょう

もしまだ請求データを活用してDatabricksの使用を最適化していないのであれば、今が最適なタイミングです。組み込みのダッシュボードで使用パターンを把握し、その後、タグ付けや予算を活用してコスト管理戦略を立て始めましょう。もし助けが必要であれば、アカウントチームにコスト管理戦略に関する深堀りのためのセッションの設定を依頼してください。