メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • For App Developers
          • エグゼクティブ向け
            • スタートアップ向け
              • レイクハウスアーキテクチャ
                • Databricks AIリサーチ
                • 導入事例
                  • 注目の導入事例
                  • パートナー
                    • パートナー概要
                      Databricks パートナー エコシステムの詳細
                      • パートナースポットライト
                        注目のパートナーの発表
                        • パートナープログラム
                          特典、レベル、パートナーになる方法をご覧ください
                          • クラウドプロバイダー
                            AWS、Azure、GCP 上の Databricks
                            • パートナーを探す
                              ニーズに合った Databricks パートナーを見つける
                              • パートナーソリューション
                                業界別および移行ソリューションを見つける
                              • Databricks プラットフォーム
                                • プラットフォームの概要
                                  データ・分析・AI のための統合プラットフォーム
                                  • データエンジニアリング
                                    バッチ、ストリーミングデータのための ETL とオーケストレーション
                                    • AIアシスタント
                                      ビジネスユーザー向けのエージェント型同僚
                                      • データウェアハウジング
                                        バッチ、ストリーミングデータのための ETL とオーケストレーション
                                        • アプリケーション開発
                                          安全なデータと AI アプリを迅速に構築
                                          • データベース
                                            データアプリと AI エージェントのための Postgres
                                            • 人工知能(AI)
                                              ML と生成 AI アプリケーションの構築とデプロイメント
                                              • ガバナンス
                                                データ・分析・AI のための統合ガバナンス
                                                • BI
                                                  実世界データのインテリジェント分析
                                                  • セキュリティ
                                                    AI時代のために構築されたオープンなエージェント型SIEM
                                                    • 顧客データプラットフォーム
                                                      Databricksに組み込まれたエージェント型CDP
                                                      • 共有
                                                        データ、分析、AI のためのオープンなデータ共有
                                                      • 統合とデータ
                                                        • マーケットプレイス
                                                          データ、分析、AI のためのオープンマーケットプレイス
                                                          • IDE 統合
                                                            お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                            • パートナーコネクト
                                                              Databricks エコシステムの検索と統合
                                                            • ご利用料金
                                                              • Databricks のご利用料金
                                                                料金設定、DBU、その他
                                                                • コスト計算ツール
                                                                  クラウド利用でのコンピュートコストの試算
                                                                • オープンソース
                                                                  • オープンソーステクノロジー
                                                                    プラットフォームを支えるイノベーションをもっと詳しく
                                                                  • 業界向け Databricks
                                                                    • テレコミュニケーション
                                                                      • メディア・エンターテイメント
                                                                        • 金融サービス
                                                                          • 官公庁・公共機関
                                                                            • 医療・ライフサイエンス
                                                                              • リテール・消費財
                                                                                • 製造
                                                                                  • 全て見る
                                                                                  • クロスインダストリーソリューション
                                                                                    • AI Agents
                                                                                      • AI ガバナンス
                                                                                        • サイバーセキュリティ
                                                                                          • マーケティング
                                                                                          • 移行・デプロイメント
                                                                                            • データの移行
                                                                                              • プロフェッショナルサービス
                                                                                              • ソリューションアクセラレータ
                                                                                                • ソリューションアクセラレータ一覧
                                                                                                  成果を加速
                                                                                                • トレーニング・認定試験
                                                                                                  • トレーニング概要
                                                                                                    ニーズに合わせたカリキュラムを探す
                                                                                                    • Databricks アカデミー
                                                                                                      Databricks ラーニングプラットフォームにサインインする
                                                                                                      • 認定
                                                                                                        スキル・認定で差別化を図る
                                                                                                        • 無料版
                                                                                                          専門家向けデータとAIツールを無料で学べます
                                                                                                          • 大学との連携
                                                                                                            Databricks を教材として活用
                                                                                                          • イベント
                                                                                                            • DATA+AI サミット
                                                                                                              • Data+AI ワールドツアー
                                                                                                                • AI Days
                                                                                                                  • イベントカレンダー
                                                                                                                  • ブログ・ポッドキャスト
                                                                                                                    • Databricks ブログ
                                                                                                                      最新情報、製品発表、その他の情報
                                                                                                                      • AI ブログ
                                                                                                                        当社のAI研究とエンジニアリングの取り組みをご覧ください
                                                                                                                        • Data Brew ポッドキャスト
                                                                                                                          ご相談・お問い合わせ
                                                                                                                        • お役立ちリソース
                                                                                                                          • カスタマーサポート
                                                                                                                            • ドキュメント
                                                                                                                              • コミュニティ
                                                                                                                              • もっと詳しく
                                                                                                                                • リソースセンター
                                                                                                                                  • デモセンター
                                                                                                                                    • アーキテクチャ センター
                                                                                                                                    • 企業概要
                                                                                                                                      • Databricks について
                                                                                                                                        • 経営陣
                                                                                                                                          • Databricks Ventures
                                                                                                                                            • ご相談・お問い合わせ
                                                                                                                                            • 採用情報
                                                                                                                                              • 採用情報概要
                                                                                                                                                • 求人情報
                                                                                                                                                • プレス・ニュース記事
                                                                                                                                                  • ニュースルーム
                                                                                                                                                    • 受賞歴と業界評価
                                                                                                                                                    • セキュリティと信頼
                                                                                                                                                      • セキュリティと信頼
                                                                                                                                                  • 是非ご検討ください!
                                                                                                                                                  • デモを見る
                                                                                                                                                  • ログイン
                                                                                                                                                  • ご相談・お問い合わせ
                                                                                                                                                  • Databricks 無料トライアル
                                                                                                                                                  1. すべてのブログ
                                                                                                                                                  2. /
                                                                                                                                                    エンジニアリング
                                                                                                                                                  • 背景
                                                                                                                                                  • 問題
                                                                                                                                                  • 用語
                                                                                                                                                  • 解決策
                                                                                                                                                  • 詳細は神に宿る
                                                                                                                                                  • 現在の状態と今後の作業
                                                                                                                                                  • よくある質問
                                                                                                                                                  • 背景
                                                                                                                                                  • 問題
                                                                                                                                                  • 用語
                                                                                                                                                  • 解決策
                                                                                                                                                  • 詳細は神に宿る
                                                                                                                                                  • 現在の状態と今後の作業
                                                                                                                                                  • よくある質問
                                                                                                                                                  エンジニアリング
                                                                                                                                                  2026年11月18日

                                                                                                                                                  Databricks のクラスターのレート制限を 7.5 倍に引き上げた方法

                                                                                                                                                  長期実行処理において、固定のリクエストレート制限よりも適応型同時実行数制限が優れている理由。

                                                                                                                                                  によって Heqing Ya, Tan Zhang, Ankit Batra 、 アビシェーク ライ による投稿

                                                                                                                                                  • 適応型同時実行数制限により、長期実行されるクラスター作成ワークフローを追跡し、システムの健全性の変化に応じて実行可能な処理量を調整します。
                                                                                                                                                  • 制限付きキューと公平なスケジューリングにより、急激な負荷の増加を吸収し、リソースを共有できます。固定のAPIリクエストレート上限は、引き続きお客様向けのガードレールとして維持されます。
                                                                                                                                                  • Databricksは、デフォルトのクラスター作成リクエストレート制限を7.5倍に引き上げ、報告対象範囲内において100件以上あったお客様ごとの個別設定を削除しました。

                                                                                                                                                  Databricksのコンピュートプラットフォームチームでは、クラウドインフラストラクチャを顧客のワークロードを実行できるクラスターへと変換しています。私たちの日常的な業務には、仮想マシンのプロビジョニングや、AWS、Azure、Google Cloudにわたるクラスター作成の調整が含まれます。私たちの目標は、安全に提供できる限りのキャパシティを顧客に使用してもらいながら、これらのシステムを利用可能な状態に保つことです。

                                                                                                                                                  この投稿では、このような長時間の処理に対して固定のリクエストレート制限では不十分な理由、適応型同時実行制限がどのように役立つのか、そしてそれらをDatabricksのクラシックコンピュートのクラスター作成に適用して学んだことについて探ります。Databricksを使用するためにこれらすべてを知る必要はありませんが、Databricks Runtimeクラスターの起動の裏側で何が起きているのか興味がある方は、ぜひその裏側を覗いてみましょう。

                                                                                                                                                  これまで、私たちは異なる負荷パターンや障害シナリオに対してテストされた固定のリクエストレート制限でシステムを保護してきました。サービスのスケールは主に追加のリソースや顧客ごとの制限の調整によって行っていました。

                                                                                                                                                  ワークロードの組み合わせや依存関係の障害により、これらの制限のテストと調整はますます困難になりました。保守的な制限により、空きキャパシティがあるにもかかわらず顧客からのリクエストが拒否される一方で、サービスやクラウドプロバイダーなどの依存関係の動作が遅くなった際にもリクエストの受け入れが続けられました。エンジニアは、インシデント中に負荷を減らすために手動で制限を引き下げ、復旧後に再度引き上げていました。

                                                                                                                                                  適応型同時実行制限は、未完了の作業と変化するシステムの健康状態の両方を考慮します。キャパシティが利用可能な場合はより多くの作業を開始させ、システムが困難な状況にある場合はペースを落とすことで、手動での調整を減らしながらサービスを進めることができます。例外的に高いトラフィックに対する最後の安全策として、APIリクエストレートの固定上限は維持されます。

                                                                                                                                                  私たちのコンピュートプラットフォームを、料理人と調理器具が処理できる限りの注文をこなすことを目指す厨房に例えてみてください。マネージャーは、「コンロで何が起きていようとも、1分間に受け付ける新規注文は最大10件まで」という固定のルールを掲示します。

                                                                                                                                                  調理のキャパシティに余裕があっても、このルールによって注文が断られてしまいます。オーブンが故障しても、残りの料理人や器具が処理できる以上のスピードで注文を受け付け続けます。マネージャーはその都度看板を書き直し続けなければなりません。

                                                                                                                                                  image2.png
                                                                                                                                                  図 1. キャパシティがあるときは有用な作業を拒否し、キャパシティが低下したときは過剰に受け入れてしまう同じルール。誰かが調整し続けなければなりません。厨房とそのレート制限は説明のためのものです。

                                                                                                                                                  より優れた厨房では、短いキューを維持し、同時に準備される食事の数を制限します。オーブンが故障すれば調理を開始する食事が減り、キャパシティが回復すれば増えます。注文を少し待たせることはできますが、それは提供するための時間がまだ残っている間だけです。

                                                                                                                                                  長時間の処理において、固定のリクエストレートはキャパシティのモデルとしては不適切です。目標は、キャパシティが許す限り顧客に全力で実行させ、パフォーマンスが低下した際には有用な作業を継続できる程度にペースを落とすことです。

                                                                                                                                                  背景

                                                                                                                                                  APIコールは、ハンドラー自体が実行するよりもはるかに多くの作業をトリガーすることがあります。クラスター作成の場合、ハンドラーはリクエストを検証して作業項目を記録し、応答を返します。バックグラウンドのワークフローがサービスの調整、状態の更新、およびクラウドの仮想マシンなどのリソースのプロビジョニングを行います。これらの操作は非同期で完了し、その所要時間は依存関係の健康状態とキャパシティに依存します。APIコールの処理にはミリ秒しかかかりませんが、ワークフロー自体には数分かかることがあります。

                                                                                                                                                  APIのエントリポイントにあるリクエストレートリミッターは、時間ウィンドウあたりのリクエスト数を制限します。これは、割り当ての強制、不正使用の防止、およびAPIコールの処理に使用されるリソースの保護に役立ちます。

                                                                                                                                                  問題

                                                                                                                                                  利用可能なキャパシティと各リクエストの背後にある作業量が予測可能な場合、固定のリクエストレート制限は調整が容易です。しかし、クラスター作成ではどちらも予測が難しくなります。1つのリクエストが少数のVMをプロビジョニングすることもあれば、より多くのVMをプロビジョニングすることもあり、クラウドプロバイダーの状態によってプロビジョニングにかかる時間も変化します。共有の遅延が発生している間は、多くのワークフローが同時に長時間を要します。したがって、受信するリクエストレートが同じであっても、システムがそれを完了させる能力が低下するにつれて、処理中の作業量がはるかに多く残ることになります。

                                                                                                                                                  image4.png
                                                                                                                                                  図 2. 操作が長くなると処理中の作業量が増加し、健康なプロセッサが減るとキャパシティが低下します。固定のリクエストレート制限はどちらの変化にも適応しません。タイムラインは説明のためのものです。

                                                                                                                                                  左側では、到着数が時間単位あたり1回の操作で固定されています。所要時間が2時間単位から6時間単位に増加すると、処理中の作業量が3倍になります。右側では、プロセッサの動作が遅くなるか利用できなくなり、その作業を処理するために利用できるキャパシティが減少します。

                                                                                                                                                  依存関係のパフォーマンスが低下すると、より多くのコールが失敗するかタイムアウトします。長時間のワークフローは、一時的な障害から回復するためにこれらのコールを再試行します。多くの活発なワークフロー全体で、それらの再試行が苦戦している依存関係に追加の負荷を与え、さらなる障害とさらに多くの再試行を引き起こす、いわゆるリトライストームが発生します。

                                                                                                                                                  これらの内部再試行はすでに受け付けられた作業から発生するため、APIリクエストレートリミッターには検知されません。受信トラフィックが通常の状態に戻った後でも、過負荷状態が持続する可能性があります。アクティブなワークフローを制限することは、その負荷を抑え、未完了の作業を消化する機会を与えるのに役立ちます。

                                                                                                                                                  レートを低く設定しても、このミスマッチは解決しません。健康な期間により多くの作業を拒否することでヘッドルームを稼ぎますが、十分な規模の遅延が発生すれば、そのヘッドルームを使い果たしてしまいます。レートを高くすると健康なキャパシティをより有効活用できますが、パフォーマンス低下時により多くの作業を受け入れてしまいます。1つの数値で両方の状況をカバーしなければなりません。

                                                                                                                                                  用語

                                                                                                                                                  「レート制限」は、同時実行される作業の制限を含めて広義に使用されることがあります。ここでは、何をカウントするかによって2つのメカニズムを区別しています。

                                                                                                                                                  用語この記事における意味
                                                                                                                                                  操作APIが応答した後のバックグラウンド作業を含む、ワークフロー全体。
                                                                                                                                                  リクエストレート制限1秒あたり10リクエストのように、単位時間あたりに受け付けられるリクエスト数の上限(バースト許容量を含む場合がある)。
                                                                                                                                                  同時実行数依存関係を待機しているものを含め、同時にアクティブな操作の数。
                                                                                                                                                  同時実行制限同時に100件などのアクティブな操作の上限。各操作は完了するまでスロットを保持します。
                                                                                                                                                  バックログ開始を待機している受け付けられた作業。まだアクティブなスロットを取得していません。

                                                                                                                                                  どちらの種類の制限も、固定または適応型にすることができます。私たちの比較は、長時間の作業を保護するための、固定のリクエストレート制限と適応型同時実行制限の間で行うものです。

                                                                                                                                                  解決策

                                                                                                                                                  厨房では、まだ準備中の食事と、それらを完成させるために利用できるキャパシティを追跡する必要があります。Databricksのクラシックコンピュートにおけるこれに相当するのは、インフラストラクチャのプロビジョニングをまだ行っているクラスター作成ワークフローのセットです。各アクティブなワークフローにスロットを割り当て、状況の変化に応じてスロットの数を調整します。

                                                                                                                                                  スロットによるアクティブな操作の追跡

                                                                                                                                                  ドライバーと複数のワーカーVMを持つクラスターに対するCreateClusterリクエストを考えてみます。リクエストが受け付けられると、そのプロビジョニングワークフローは開始前にスロットを待ちます。その作業がキューに入っているか、アクティブに処理されているか、完了しているかを追跡します。

                                                                                                                                                  すべてのスロットが占有されている場合、リクエストはキューに残ります。アクティブなワークフローは、VMのプロビジョニングや依存関係の待機を行っている間、スロットを保持します。ワークフローが完了すると、そのスロットは別のクラスター起動のために利用可能になります。正常に起動したクラスターは、そのプロビジョニングスロットを占有することなく、何時間も顧客のワークロードを実行し続けることができます。

                                                                                                                                                  スロットは、APIが応答した後のバックグラウンド作業を含め、プロビジョニング操作全体をカバーする必要があります。スロットの追跡には、スレッドの保持は必要ありません。

                                                                                                                                                  このコントローラーは、アクティブなプロビジョニングワークフローをカウントします。稼働中のクラスター、割り当てられたVM、およびvCPUは別個の指標です。1つのワークフローで多くのVMをプロビジョニングできるため、1つのスロットが固定のリソースコストを意味するわけではありません。

                                                                                                                                                  利用可能なキャパシティへの適応

                                                                                                                                                  ここで、クラウドプロバイダーがVMのプロビジョニングにより多くの時間を要するようになったと仮定します。アクティブなワークフローがスロットをより長く保持するため、スロットの制限が固定のままでであっても、新しいクラスターの起動頻度は低下します。受け付けられたリクエストがキューイングされるため、顧客は起動までの待ち時間が長くなります。

                                                                                                                                                  適応型制御は、スロットの制限も変更します。クラスター作成において有用なシグナルには、プロビジョニングにかかる時間や、重要なスレッドプールの負荷が飽和しているかどうかなどが含まれます。これらのシグナルが混雑を示している場合、コントローラーは並行して実行されるプロビジョニングワークフローの数を減らします。状況が回復するにつれて、慎重に数を増やします。受け付けられた作業が開始する際にキャパシティのプレッシャーが変化し、RPCのレート制限による拒否は例外的に高い受信リクエストレートのために温存されます。

                                                                                                                                                  image1.png
                                                                                                                                                  図 3. 完了したプロビジョニングワークフローは、別のクラスター起動のためにスロットを解放します。健康状態のフィードバックにより、一度に実行できるワークフローの数が調整されます。

                                                                                                                                                  制限を引き下げることで、アクティブな作業がその制限を下回るまで新しい操作の開始を防ぐことができますが、既存の操作には完了までの時間が依然として必要です。ワークフローが数分間続く場合、この応答時間が重要になります。また、アクティブなワークフローが回復中の依存関係に過負荷をかけ続けようとしないよう、再試行にはバックオフと試行回数の制限が必要です。同時実行制限によって利用不可能な依存関係を修復することはできませんが、その依存関係が回復するまでの余分な負荷を制限することはできます。

                                                                                                                                                  詳細は神に宿る

                                                                                                                                                  制御ループは、どれだけの作業を開始すべきかを判断します。有用なサービスの構築には、誰が待つのか、どれくらい待つのか、そして何を伝えるのかを決めることも含まれます。

                                                                                                                                                  リクエストがスロットリングされている理由を説明する

                                                                                                                                                  「リクエストが多すぎます」というメッセージは、まったく異なる2つの状況を隠している可能性があります。

                                                                                                                                                  1つ目の状況では、顧客は通常通りのトラフィックを送信していますが、共有の依存関係の処理が遅くなっています。キャパシティが低下しています。顧客にトラフィックパターンの修正を求めることは、サービスの問題を誤解させることになります。

                                                                                                                                                  2つ目の状況では、サービスが正常な状態であるにもかかわらず、顧客が通常よりも異常に大量のリクエストを送信しています。他の顧客も同じリソースを求めて競合しています。そのバーストをスロットリングすることで、すべての顧客の公平なリソース配分が保護されます。

                                                                                                                                                  image3.png
                                                                                                                                                  図4. 同じ症状でも原因が異なる場合があります。システムの劣化とテナントの過剰な需要は別々に可視化されるべきであり、両者が同時に発生することもあります。

                                                                                                                                                  これらのケースを区別するために、システムのヘルス状態、各テナントからのリクエスト、およびスケジューリングの決定を個別に追跡します。実行中の処理(インフライト処理)の数が多いということだけで、顧客が過剰なリクエストを送信したと証明することはできません。それらの処理は、低速な依存関係の後ろでスタックしている可能性があります。同様に、余剰なキャパシティがあり、ポリシーで許可されている場合は、公平性のためにバーストをスロットリングする必要はありません。

                                                                                                                                                  この区別は、メトリックと、お客様向けの説明に反映されるべきものです。これにより、オペレーターはキャパシティの低下または異常なワークロードのどちらを調査すべきかを把握でき、お客様は自身の動作を変更することが解決につながるかどうかを判断できます。スロットリングとして表面化した場合でも、サービスの低下によって発生した失敗は、サービスの信頼性メトリックにカウントします。キューで待機する受け入れ済みリクエストについては、クラスター起動レイテンシへの影響を測定します。

                                                                                                                                                  リクエストがまだ成功する時間があるうちにバッファリングする

                                                                                                                                                  数分かかる処理の場合、すぐにエラーを返して再試行するよりも、少し待つ方が望ましいことがよくあります。キューを使用することでバーストを吸収し、システムが処理に追いつくことができます。

                                                                                                                                                  それは、待機時間がリクエストの期限内に収まる場合にのみ機能します。キューのサイズと各リクエストの待機時間を制限し、進捗状況を可視化し、もはや正常に完了できない作業は拒否または期限切れにします。キューは、継続的な過負荷をキャパシティに変えることはできません。制限のないキューは、わずかな障害を何時間もの遅延に変えてしまう可能性があります。

                                                                                                                                                  コストのかからないキューイングとクリーンアップの維持

                                                                                                                                                  キューに登録されたリクエストは、リソースを占有する実行中のワーカーではなく、小さなレコードであるべきです。バックログが大きいからといって、頻繁なスキャンやスレッドおよび接続の競合によって、すべての有効な処理のコストが高くなってはなりません。

                                                                                                                                                  クリーンアップにも同じ注意が必要です。大規模なバックログが一斉に期限切れになった場合、サービスは予測可能な時間内にそれを破棄できる必要があります。最悪のバックログを想定して計画し、期限切れと拒否のコストを抑え、すでに期限が切れている作業に対するコストのかからないセットアップを回避してください。そうしないと、元の混雑が解消された後も、キューによってサービスが忙しい状態が続いてしまいます。

                                                                                                                                                  製品にとっての「公平」の意味を決定する

                                                                                                                                                  サービスが100件のリクエストを遅延させなければならないと仮定します。100人の顧客がそれぞれ1件の遅延リクエストを体験するのと、1人の顧客が100件の遅延リクエストを体験するのとでは、どちらが良いでしょうか?

                                                                                                                                                  集計されたメトリックは同じように見えるかもしれませんが、カスタマーエクスペリエンスは異なります。

                                                                                                                                                  スケジューラーは、私たちが指定するかどうかにかかわらず、この選択を行います。どの作業を最初に実行すべきか、競合が発生したときに各テナントにどの程度の割合を割り当てるべきか、そして優先度の低い作業が永遠に待機するのをどのように回避すべきかを定義します。ポリシーで許可されている場合は、テナントが他の方法でアイドル状態のキャパシティを使用できるようにしつつ、他のテナントがシェアを必要とする場合には公平なアクセスを維持します。

                                                                                                                                                  現在の状態と今後の作業

                                                                                                                                                  私たちは、Databricksのクラシックコンピュートでのクラスター作成のための統合負荷管理システムにこれらのアイデアを適用しました。短いAPIリクエストによって、パブリッククラウドを含む複数の依存関係を調整し、コンピュートリソースをプロビジョニングする、はるかに長いワークフローが開始されます。

                                                                                                                                                  このシステムは、キューに登録されたリクエスト、適応型同時実行数制限、および公平なスケジューリングを組み合わせたものです。すでに実行中の作業とシステムのヘルス状態を使用して、キュー内の操作を開始できるタイミングを決定します。

                                                                                                                                                  例外的に高い着信トラフィックに対する最後の防衛線として、APIのリクエストレート制限を維持しています。これにより、お客様に通知できるリクエストレートの境界が提供されます。適応型同時実行数制限はサービスの内部に留まり、受け入れられた作業がいつ開始されるかを管理します。APIのレスポンスが成功したからといって、クラスターが即座に起動したり、一定時間内に完了したりすることが保証されるわけではありません。

                                                                                                                                                  初期ロールアウト分析では、次の3つの結果が報告されました。

                                                                                                                                                  • デフォルトのクラスター作成リクエストレート制限が7.5倍に向上。
                                                                                                                                                  • 報告された範囲内で、クラスター作成レート制限エラーが99.99%以上減少。
                                                                                                                                                  • 対象範囲内における、100件を超える顧客固有のレート制限オーバーライドを削除。

                                                                                                                                                  適応型同時実行制御により、状況の変化に応じて長期実行ワークフローを保護し、7.5倍の増加を実現しました。この増加以降、より高いクラスター作成リクエストレート制限に達した顧客はほとんどおらず、それらの制限に対する新しい手動オーバーライドは追加されていません。顧客は個別に調整された例外を必要とせず、より余裕を持ってスケールできるようになりました。

                                                                                                                                                  このアプローチを他の種類の長時間の作業に適用すると、さらなる設計上の疑問が生じます。操作のリソースコストが大きく異なる場合、それぞれを1つのスロットとしてカウントするのは大ざっぱすぎる可能性があります。加重スロットや個別の制限は、拡張の候補となります。複数のボトルネックがあるワークフローでは、低速な依存関係が関係のない作業をブロックしないように、どこに制御を適用するかということも別の設計上の疑問になります。

                                                                                                                                                  クラウドプロバイダーの速度低下時に、すでにVMをプロビジョニングしているワークフローは、新規の起動が遅くなった後でも再試行を続けることがあります。同時実行数の制限を、リトライのバックオフや試行回数の制限と組み合わせることで、リカバリ中のそのプレッシャーを軽減します。

                                                                                                                                                  よくある質問

                                                                                                                                                  リクエストレート制限と同時実行数制限の違いは何ですか?

                                                                                                                                                  リクエストレート制限は単位時間あたりに受け入れられるリクエストの数を制限し、同時実行数制限は同時にアクティブになる操作の数を制限します。各アクティブな操作は、依存関係の待機時間も含めて、完了するまでスロットを保持します。

                                                                                                                                                  なぜ同時実行スロットがクラスター作成ワークフロー全体をカバーする必要があるのですか?

                                                                                                                                                  CreateClusterワークフローは、APIが応答した後も依存関係の待機時間を含めて、VMのプロビジョニング中にスロットを保持します。プロビジョニングが完了すると、クラスターが顧客のワークロードの実行を継続している場合でも、スロットは解放されます。コントローラーはアクティブなプロビジョニングワークフローをカウントします。実行中のすべてのクラスターや、割り当てられたすべてのクラスター、VM、vCPUをカウントするわけではありません。スロットの追跡にスレッドの保持は必要ありません。

                                                                                                                                                  適応型同時実行数制限は、システムの劣化にどのように対応しますか?

                                                                                                                                                  クラウドプロバイダーの処理が遅くなると、プロビジョニングワークフローはスロットを長く保持し、受け入れられたリクエストの起動までの待ち時間が長くなります。また、プロビジョニングのレイテンシやスレッドプールの飽和などの混雑の兆候がプレッシャーを示している場合、コントローラーはスロットの制限を引き下げます。状況が回復するにつれて、慎重により多くの同時作業を許可します。

                                                                                                                                                  なぜDatabricksは今でも固定のAPIリクエストレート制限を維持しているのですか?

                                                                                                                                                  固定のAPIリクエストレート制限は、例外的に高い着信トラフィックから保護し、顧客に通知できるリクエストレートの境界を提供します。適応型同時実行数制限はサービスの内部で機能します。キャパシティのプレッシャーにより、受け入れられたリクエストがキューに並び、プロビジョニングが遅延します。APIのレスポンスが成功したからといって、クラスターが即座に起動したり、一定時間内に完了したりすることが保証されるわけではありません。

                                                                                                                                                  適応型同時実行数制限の導入後、Databricksはどのような結果を報告しましたか?

                                                                                                                                                  初期ロールアウト分析では、デフォルトのクラスター作成リクエストレート制限が7.5倍に向上し、報告された範囲でのクラスター作成レート制限エラーが99.99%以上削減され、対象範囲内の100件を超える顧客固有のレート制限オーバーライドが削除されたことが報告されました。増加以降、より高い制限に達した顧客はほとんどおらず、それらの制限に対する新しい手動オーバーライドは追加されていません。

                                                                                                                                                  大規模なAPIクォータの適用という補完的な問題については、Databricksにおける高性能レート制限をお読みください。

                                                                                                                                                  (このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事

                                                                                                                                                  最新の投稿を受信トレイで受け取る

                                                                                                                                                  ブログを購読して、最新の投稿を受信トレイにお届けします。

                                                                                                                                                  Sign up

                                                                                                                                                  すべてのブログを見る
                                                                                                                                                  databricks logo
                                                                                                                                                  Databricks を選ぶ理由
                                                                                                                                                  Databricks を選ぶ理由
                                                                                                                                                  • For App Developers
                                                                                                                                                  • エグゼクティブ向け
                                                                                                                                                  • スタートアップ向け
                                                                                                                                                  • レイクハウスアーキテクチャ
                                                                                                                                                  • Databricks AIリサーチ
                                                                                                                                                  導入事例
                                                                                                                                                  • 注目の導入事例
                                                                                                                                                  パートナー
                                                                                                                                                  • パートナー概要
                                                                                                                                                  • パートナープログラム
                                                                                                                                                  • パートナーを探す
                                                                                                                                                  • パートナースポットライト
                                                                                                                                                  • クラウドプロバイダー
                                                                                                                                                  • パートナーソリューション
                                                                                                                                                  Databricks を選ぶ理由
                                                                                                                                                  • For App Developers
                                                                                                                                                  • エグゼクティブ向け
                                                                                                                                                  • スタートアップ向け
                                                                                                                                                  • レイクハウスアーキテクチャ
                                                                                                                                                  • Databricks AIリサーチ
                                                                                                                                                  導入事例
                                                                                                                                                  • 注目の導入事例
                                                                                                                                                  パートナー
                                                                                                                                                  • パートナー概要
                                                                                                                                                  • パートナープログラム
                                                                                                                                                  • パートナーを探す
                                                                                                                                                  • パートナースポットライト
                                                                                                                                                  • クラウドプロバイダー
                                                                                                                                                  • パートナーソリューション
                                                                                                                                                  製品
                                                                                                                                                  レイクハウスプラットフォーム
                                                                                                                                                  • プラットフォーム
                                                                                                                                                  • AIアシスタント
                                                                                                                                                  • アプリケーション開発
                                                                                                                                                  • 人工知能(AI)
                                                                                                                                                  • BI
                                                                                                                                                  • 顧客データプラットフォーム
                                                                                                                                                  • データエンジニアリング
                                                                                                                                                  • データウェアハウス
                                                                                                                                                  • データベース
                                                                                                                                                  • データガバナンス
                                                                                                                                                  • Neon
                                                                                                                                                  • セキュリティ
                                                                                                                                                  • 共有
                                                                                                                                                  ご利用料金
                                                                                                                                                  • 料金設定の概要
                                                                                                                                                  • 料金計算ツール
                                                                                                                                                  オープンソース
                                                                                                                                                  統合とデータ
                                                                                                                                                  • マーケットプレイス
                                                                                                                                                  • IDE 統合
                                                                                                                                                  • パートナーコネクト
                                                                                                                                                  レイクハウスプラットフォーム
                                                                                                                                                  • プラットフォーム
                                                                                                                                                  • AIアシスタント
                                                                                                                                                  • アプリケーション開発
                                                                                                                                                  • 人工知能(AI)
                                                                                                                                                  • BI
                                                                                                                                                  • 顧客データプラットフォーム
                                                                                                                                                  • データエンジニアリング
                                                                                                                                                  • データウェアハウス
                                                                                                                                                  • データベース
                                                                                                                                                  • データガバナンス
                                                                                                                                                  • Neon
                                                                                                                                                  • セキュリティ
                                                                                                                                                  • 共有
                                                                                                                                                  ご利用料金
                                                                                                                                                  • 料金設定の概要
                                                                                                                                                  • 料金計算ツール
                                                                                                                                                  統合とデータ
                                                                                                                                                  • マーケットプレイス
                                                                                                                                                  • IDE 統合
                                                                                                                                                  • パートナーコネクト
                                                                                                                                                  ソリューション
                                                                                                                                                  業種別
                                                                                                                                                  • 通信
                                                                                                                                                  • 金融サービス
                                                                                                                                                  • 医療・ライフサイエンス
                                                                                                                                                  • 製造
                                                                                                                                                  • メディア・エンタメ
                                                                                                                                                  • 官公庁・公共機関
                                                                                                                                                  • リテール・消費財
                                                                                                                                                  • 全て表示
                                                                                                                                                  クロスインダストリーソリューション
                                                                                                                                                  • AI エージェント
                                                                                                                                                  • AI ガバナンス
                                                                                                                                                  • サイバーセキュリティ
                                                                                                                                                  • マーケティング
                                                                                                                                                  データの移行
                                                                                                                                                  プロフェッショナルサービス
                                                                                                                                                  ソリューションアクセラレータ
                                                                                                                                                  業種別
                                                                                                                                                  • 通信
                                                                                                                                                  • 金融サービス
                                                                                                                                                  • 医療・ライフサイエンス
                                                                                                                                                  • 製造
                                                                                                                                                  • メディア・エンタメ
                                                                                                                                                  • 官公庁・公共機関
                                                                                                                                                  • リテール・消費財
                                                                                                                                                  • 全て表示
                                                                                                                                                  クロスインダストリーソリューション
                                                                                                                                                  • AI エージェント
                                                                                                                                                  • AI ガバナンス
                                                                                                                                                  • サイバーセキュリティ
                                                                                                                                                  • マーケティング
                                                                                                                                                  リソース
                                                                                                                                                  ドキュメント
                                                                                                                                                  カスタマーサポート
                                                                                                                                                  コミュニティ
                                                                                                                                                  トレーニング・認定試験
                                                                                                                                                  • トレーニング
                                                                                                                                                  • 認定
                                                                                                                                                  • 無料版
                                                                                                                                                  • 大学との連携
                                                                                                                                                  • Databricks アカデミー
                                                                                                                                                  イベント
                                                                                                                                                  • DATA+AI サミット
                                                                                                                                                  • Data+AI ワールドツアー
                                                                                                                                                  • AI Days
                                                                                                                                                  • イベントカレンダー
                                                                                                                                                  ブログ・ポッドキャスト
                                                                                                                                                  • Databricks ブログ
                                                                                                                                                  • AI ブログ
                                                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                                                  トレーニング・認定試験
                                                                                                                                                  • トレーニング
                                                                                                                                                  • 認定
                                                                                                                                                  • 無料版
                                                                                                                                                  • 大学との連携
                                                                                                                                                  • Databricks アカデミー
                                                                                                                                                  イベント
                                                                                                                                                  • DATA+AI サミット
                                                                                                                                                  • Data+AI ワールドツアー
                                                                                                                                                  • AI Days
                                                                                                                                                  • イベントカレンダー
                                                                                                                                                  ブログ・ポッドキャスト
                                                                                                                                                  • Databricks ブログ
                                                                                                                                                  • AI ブログ
                                                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                                                  企業情報
                                                                                                                                                  企業概要
                                                                                                                                                  • Databricks について
                                                                                                                                                  • 経営陣
                                                                                                                                                  • Databricks Ventures
                                                                                                                                                  • ご相談・お問い合わせ
                                                                                                                                                  採用情報
                                                                                                                                                  • 採用情報概要
                                                                                                                                                  • 求人情報
                                                                                                                                                  プレス・ニュース記事
                                                                                                                                                  • ニュースルーム
                                                                                                                                                  • 受賞歴と業界評価
                                                                                                                                                  セキュリティと信頼
                                                                                                                                                  企業概要
                                                                                                                                                  • Databricks について
                                                                                                                                                  • 経営陣
                                                                                                                                                  • Databricks Ventures
                                                                                                                                                  • ご相談・お問い合わせ
                                                                                                                                                  採用情報
                                                                                                                                                  • 採用情報概要
                                                                                                                                                  • 求人情報
                                                                                                                                                  プレス・ニュース記事
                                                                                                                                                  • ニュースルーム
                                                                                                                                                  • 受賞歴と業界評価
                                                                                                                                                  databricks logo

                                                                                                                                                  Databricks Inc.
                                                                                                                                                  160 Spear Street, 15th Floor
                                                                                                                                                  San Francisco, CA 94105
                                                                                                                                                  1-866-330-0121

                                                                                                                                                  採用情報

                                                                                                                                                  © Databricks 2026. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                                  • プライバシー通知
                                                                                                                                                  • |利用規約
                                                                                                                                                  • |現代奴隷法に関する声明
                                                                                                                                                  • |カリフォルニア州のプライバシー権利
                                                                                                                                                  • |プライバシー設定