使用工作流

您可以通过以下步骤设置和运行工作流：

  1. 创建工作流模板
  2. 配置受管（临时）集群或选择现有集群
  3. 添加作业
  4. 对模板进行实例化以运行工作流

创建模板

Google Cloud 控制台

在 Google Cloud 控制台的 Managed Service for Apache Spark 工作流页面中，选择创建工作流模板，然后确认或提供模板、集群、作业和依赖项设置。

gcloud CLI

运行以下 command 以创建 Managed Service for Apache Spark 工作流模板资源。

gcloud dataproc workflow-templates create TEMPLATE_ID \
    --region=REGION

注意：

  • REGION：指定模板将在其中运行的区域。
  • TEMPLATE_ID：为模板提供 ID，例如“workflow-template-1”。
  • CMEK 加密。您可以在工作流模板作业参数中添加 --kms-key 标志，以使用 CMEK 加密。

REST API