检查 Google Cloud 存储空间和数据库是否存在敏感数据

如需正确管理存储区中存储的敏感数据，首先需要进行存储分类：确定存储区中敏感数据的位置、敏感数据的类型以及敏感数据的使用方法。这些信息可以帮助您正确设置访问权限控制和共享权限，并且可以作为持续监控计划的一部分。

Sensitive Data Protection 可以检测存储在 Cloud Storage 位置、Datastore 种类或 BigQuery 表中的敏感数据并对其进行分类。扫描 Cloud Storage 位置中的文件时，Sensitive Data Protection 支持扫描二进制文件、文本、图片、Microsoft Word、Microsoft Excel、Microsoft Powerpoint、PDF 和 Apache Avro 文件。无法识别类型的文件将作为二进制文件进行扫描。如需详细了解支持的文件类型，请参阅支持的文件类型。

如需检查存储空间和数据库中是否存在敏感数据，请指定数据的位置以及 Sensitive Data Protection 应查找的敏感数据类型。Sensitive Data Protection 会启动可检查给定位置数据的作业，然后提供内容中找到的 infoTypes 的详细信息、可能性值及其他信息。

您可以在 Google Cloud 控制台中使用 Sensitive Data Protection、通过 RESTful DLP API，或者采用多种语言之一以编程方式使用 Sensitive Data Protection 客户端库来设置存储空间和数据库检查。

本主题包含以下内容：

• 设置 Google Cloud 存储库和数据库扫描的最佳实践。
• 有关如何在 Google Cloud 控制台中使用 Sensitive Data Protection 设置检查扫描以及（可选）安排定期重复检查扫描的说明。
• 每种 Google Cloud 存储库类型（Cloud Storage、Datastore 模式下的 Firestore (Datastore) 和 BigQuery）的 JSON 和代码示例。
• 扫描作业配置选项的详细概览。
• 有关如何对每个成功的请求生成的扫描结果进行检索以及创建的扫描作业进行管理的说明。

最佳做法

确定扫描范围和优先级

请务必先评估您的资源并指定哪些资源的扫描优先级最高。刚开始时，可能有大量积压的数据需要分类，而且无法立即扫描所有数据。首先选择潜在风险最高的数据，例如经常访问、广泛访问或未知的数据。

确保 Sensitive Data Protection 可以访问您的数据

Sensitive Data Protection 必须能够访问要扫描的数据。确保 Sensitive Data Protection 服务账号有权读取您的资源。

限制首次扫描的范围

为达到最佳效果，请限制前几项作业的范围，而不是扫描所有数据。从一个表、一个存储分区或几个文件开始，同时使用抽样。通过限制首次扫描的范围，您可以更好地确定要启用的检测器以及可能需要哪些排除规则来减少误报，让结果更有意义。如果您不需要所有 infoType，请避免启用所有 infoType，因为误报或无法使用的结果可能会让评估风险变得更加困难。虽然在某些情况下很有用，但像 DATE、TIME、DOMAIN_NAME 和 URL 这样的 infoType 会匹配广泛的结果，可能不适用于大型数据扫描。

对结构化文件（例如 CSV、TSV 或 Avro 文件）进行抽样时，请确保样本大小足以涵盖文件的完整标题和一行数据。如需了解详情，请参阅在结构化解析模式下扫描结构化文件。

安排扫描时间

使用 Sensitive Data Protection 作业触发器每天、每周或每季度自动运行扫描并生成结果。这些扫描还可以配置为仅检查自上次扫描以来发生更改的数据，从而节省时间并降低费用。定期运行扫描可帮助您识别扫描结果中的趋势或异常值。

作业延迟时间

我们不保证作业和作业触发器的服务等级目标 (SLO)。延迟时间受多种因素影响，包括要扫描的数据量、要扫描的存储区、要扫描的 infoType 类型和数量、作业的处理区域以及该区域中可用的计算资源。因此，无法提前确定检查作业的延迟时间。

如需帮助减少作业延迟时间，您可以尝试以下方法：

• 如果您的作业或作业触发器支持抽样，请启用该功能。

• 避免启用不需要的 infoType。虽然以下信息类型在某些情况下很有用，但与不包含这些信息类型的请求相比，包含这些信息类型的请求的运行速度会慢得多：

  • PERSON_NAME
  • FEMALE_NAME
  • MALE_NAME
  • FIRST_NAME
  • LAST_NAME
  • DATE_OF_BIRTH
  • LOCATION
  • STREET_ADDRESS
  • ORGANIZATION_NAME

• 始终明确指定 infoType。请勿使用空的 infoType 列表。

• 如果可以，请使用其他处理区域。

如果您在尝试这些技巧后，作业仍然存在延迟问题，请考虑使用 content.inspect 或 content.deidentify 请求，而不是作业。这些方法受服务等级协议的约束。如需了解详情，请参阅 Sensitive Data Protection 服务等级协议。

准备工作

本主题提供的说明做了以下假设：

• 您已启用结算功能。

  了解如何启用结算功能

• 您已启用 Sensitive Data Protection。

  启用 Sensitive Data Protection

存储分类需要以下 OAuth 范围：https://www.googleapis.com/auth/cloud-platform。如需了解详情，请参阅对 DLP API 进行身份验证。

检查 Cloud Storage 位置

您可以使用 Google Cloud 控制台、通过 REST 或 RPC 请求调用 DLP API，或者采用多种语言以编程方式使用客户端库，对 Cloud Storage 位置设置 Sensitive Data Protection 检查。如需了解以下 JSON 和代码示例中包含的参数，请参阅本主题后面的配置存储空间检查。

Sensitive Data Protection 依靠文件扩展名和媒体 (MIME) 类型来确定要扫描的文件类型以及要应用的扫描模式。例如，即使 .txt 文件是结构化 CSV 文件，Sensitive Data Protection 也会以纯文本模式扫描该文件，而通常情况下，CSV 文件是以结构化解析模式扫描的。

如需设置使用 Sensitive Data Protection 的 Cloud Storage 存储桶扫描作业，请执行以下操作：

POST https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs?key={YOUR_API_KEY}

{
  "inspectJob":{
    "storageConfig":{
      "cloudStorageOptions":{
        "fileSet":{
          "url":"gs://[BUCKET-NAME]/*"
        },
        "bytesLimitPerFile":"1073741824"
      },
      "timespanConfig":{
        "startTime":"2017-11-13T12:34:29.965633345Z",
        "endTime":"2018-01-05T04:45:04.240912125Z"
      }
    },
    "inspectConfig":{
      "infoTypes":[
        {
          "name":"PHONE_NUMBER"
        }
      ],
      "excludeInfoTypes":false,
      "includeQuote":true,
      "minLikelihood":"LIKELY"
    },
    "actions":[
      {
        "saveFindings":{
          "outputConfig":{
            "table":{
              "projectId":"[PROJECT-ID]",
              "datasetId":"[DATASET-ID]"
            }
          }
        }
      }
    ]
  }
}

{
  "name":"projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
  "type":"INSPECT_JOB",
  "state":"PENDING",
  "inspectDetails":{
    "requestedOptions":{
      "snapshotInspectTemplate":{

      },
      "jobConfig":{
        "storageConfig":{
          "cloudStorageOptions":{
            "fileSet":{
              "url":"gs://[BUCKET-NAME]/*"
            },
            "bytesLimitPerFile":"1073741824"
          },
          "timespanConfig":{
            "startTime":"2017-11-13T12:34:29.965633345Z",
            "endTime":"2018-01-05T04:45:04.240912125Z"
          }
        },
        "inspectConfig":{
          "infoTypes":[
            {
              "name":"PHONE_NUMBER"
            }
          ],
          "minLikelihood":"LIKELY",
          "limits":{

          },
          "includeQuote":true
        },
        "actions":[
          {
            "saveFindings":{
              "outputConfig":{
                "table":{
                  "projectId":"[PROJECT-ID]",
                  "datasetId":"[DATASET-ID]",
                  "tableId":"[NEW-TABLE-ID]"
                }
              }
            }
          }
        ]
      }
    }
  },
  "createTime":"2018-11-07T18:01:14.225Z"
}

import com.google.api.core.SettableApiFuture;
import com.google.cloud.dlp.v2.DlpServiceClient;
import com.google.cloud.pubsub.v1.AckReplyConsumer;
import com.google.cloud.pubsub.v1.MessageReceiver;
import com.google.cloud.pubsub.v1.Subscriber;
import com.google.privacy.dlp.v2.Action;
import com.google.privacy.dlp.v2.CloudStorageOptions;
import com.google.privacy.dlp.v2.CloudStorageOptions.FileSet;
import com.google.privacy.dlp.v2.CreateDlpJobRequest;
import com.google.privacy.dlp.v2.DlpJob;
import com.google.privacy.dlp.v2.GetDlpJobRequest;
import com.google.privacy.dlp.v2.InfoType;
import com.google.privacy.dlp.v2.InfoTypeStats;
import com.google.privacy.dlp.v2.InspectConfig;
import com.google.privacy.dlp.v2.InspectDataSourceDetails;