配額與限制

本文列出 Cloud Composer 適用的配額和系統限制。

  • 配額有預設值，但您通常可以申請調整。
  • 系統限制是無法變更的固定值。

Google Cloud 會使用配額來確保公平性，並減少資源使用量和可用性突然暴增的情況。配額會限制專案可使用的Google Cloud 資源 Google Cloud 數量。配額適用於各種資源類型，包括硬體、軟體和網路元件。舉例來說，配額可以限制對服務發出的 API 呼叫數、專案並行使用的負載平衡器數量，或是可建立的專案數量。配額可以預防服務過載，進而保障Google Cloud 使用者社群的權益。配額也能協助您管理自己的 Google Cloud 資源。

Cloud Quotas 系統會執行下列操作：

在大多數情況下，如果您嘗試使用的資源超過配額，系統會封鎖資源存取權，導致您嘗試執行的工作失敗。

配額通常是在 Google Cloud 專案 層級套用。在一個專案中使用資源，不會影響另一個專案的可用配額。在 Google Cloud 專案中，所有應用程式和 IP 位址會共用配額。

詳情請參閱 Cloud Quotas 總覽。

如要調整大部分配額，請使用 Google Cloud 控制台。 詳情請參閱「要求調整配額」。

Cloud Composer 資源也有系統限制。系統限制無法變更。

Cloud Composer 配額

本節中的配額僅適用於 Cloud Composer API，以及使用 Cloud Composer API 的工具：

  • Google Cloud 控制台中的 Cloud Composer 介面
  • gcloud composer 和 gcloud beta composer 指令
  • Cloud Composer REST API
  • Cloud Composer RPC API
  • Terraform，用於 Cloud Composer 環境的作業

本節的配額不適用於您在 Airflow DAG 中使用的任何服務。這類服務會使用自己的配額。

Cloud Composer 的 API 配額如下：

配額名稱 限制
每專案讀取要求數 每分鐘 1,000 個配額單位
每專案寫入要求數 每日 25,000 個配額單位
每專案寫入要求數 每分鐘 1,500 個配額單位
每項專案的快照要求數 每日 5,000 個配額單位
每項專案的快照要求數 每分鐘 250 個配額單位
每項專案/環境的快照儲存要求數 每日 2,600 個配額單位
每項專案的快照載入要求數 每日 2,500 個配額單位
每項專案的快照載入要求數 每分鐘 150 個配額
每項專案/每個環境的快照載入要求數 每日 700 個配額單位

Cloud Composer API 呼叫的費用如下 (以配額單位計算)：

作業 配額單位成本 要求類型
所有作業 1 讀取
environments.create 100 寫入
environments.patch 100 寫入
environments.delete 100 寫入
environments.databaseFailover 100 寫入
environments.restartWebServer 100 寫入
environments.checkUpgrade 100 寫入
environments.executeAirflowCommand 25 寫入
environments.stopAirflowCommand 25 寫入
environments.saveSnapshot 50 儲存快照
environments.loadSnapshot 50 載入快照

配額計算範例

  • 每發出一次 environments.create 要求，就會耗用 寫入配額的 100 個配額單位。

    寫入要求有兩種配額：

    • 每個專案每日的寫入要求數
    • 每項專案每分鐘的寫入要求數

    這項作業會耗用每個配額的 100 個配額單位。

    如果您之後執行 environments.restartWebServer 要求，系統會從相同配額再消耗 100 個配額單位，因為 environments.restartWebServer 與 environments.create 要求共用配額。

  • 一項 environments.saveSnapshot 要求會耗用三個配額的 50 個配額單位：

    • 每個專案每日的儲存快照要求次數
    • 每項專案每分鐘的儲存快照要求數
    • 每個專案、每個環境每天的快照要求數

    這三項配額會限制environments.saveSnapshot要求數量上限。但做法各不相同。

    每個專案每天的儲存快照要求配額上限為 2,500 個配額單位。每個專案每天最多可執行 50 項 environments.saveSnapshot 要求。

    每項專案每分鐘的儲存快照要求數配額上限為 150 個配額單位。在專案中，您每分鐘最多只能執行三項 environments.saveSnapshot 要求。

    最後，每個專案每天每個環境的儲存快照要求配額限制為 750 個配額單位。每個環境每天最多可執行 15 項 environments.saveSnapshot 要求。如果特定環境的配額單位全數用盡，您仍可為專案中的其他環境執行 environments.saveSnapshot 要求。

其他服務的配額

Cloud Composer 會使用其他 Google Cloud 服務，這些服務都有專案層級配額，適用於您使用 Cloud Composer 的情況。

舉例來說，Cloud Storage 的配額適用於專案中與環境相關聯的所有值區。舉例來說，環境的叢集使用 Google Kubernetes Engine，因此 GKE 的配額會套用至專案中與環境相關聯的所有叢集。

Cloud Composer 使用的服務配額

Cloud Composer 會使用下列服務。這些服務有各自的配額限制：

選用服務的配額

您可以將 Airflow 運算子與 Google Cloud 服務搭配使用。您在 DAG 中使用的任何服務，均會受到該項服務適用配額的限制。