跨区域复制和灾难恢复简介

Lakehouse 运行时目录的跨区域复制和灾难恢复功能可防范区域级服务中断。作为无边界 Lakehouse 的一部分,此功能可为使用 Apache Iceberg REST Catalog 端点的表实现故障切换。

在管理故障转移时,您可以选择软故障转移(用于计划测试)或硬故障转移(用于快速恢复服务)。

工作原理

Lakehouse 运行时目录会自动为目录元数据选择主区域和辅助区域。主要区域会处理所有表提交元数据,然后将其复制到次要区域以进行备份。

您可以随时(尤其是在灾难发生期间)使用故障切换操作来切换目录的主要区域和次要区域。此操作会切换目录及其包含的所有命名空间和表的主账号。

跨区域复制

跨区域复制涉及两个主要组件:数据复制和元存储区复制。灾难恢复功能以跨区域复制为基础,可实现故障切换。

  • 数据复制:当您使用双区域或多区域存储桶时,Cloud Storage 会自动在多个区域中复制目录数据。如果发生区域性中断,您的数据仍可访问,且无需更改存储路径。

  • Metastore 复制:对于 Iceberg REST 目录端点,当您使用双区域(或自定义双区域)存储桶时,Lakehouse 运行时目录会自动复制您的 metastore。创建目录时,元数据存储区复制开始。Lakehouse 运行时目录会从 Cloud Storage 配置中定义的区域中选择一个主要区域和一个次要区域。主区域用于提供所有表提交元数据,并将其复制到次区域以进行备份。

支持故障切换的灾难恢复

借助灾难恢复功能,您可以切换目录的主要区域和次要区域。故障切换操作会切换目录及其所有命名空间和表的主区域。故障切换有两种模式:软故障切换和硬故障切换。

  • 软故障切换:软故障切换可防止数据丢失。在此模式下,只有在所有先前的数据从先前的主区域同步完毕后,新的主区域才会开始接受写入操作。使用软故障切换进行灾难恢复测试或其他计划的情景。

  • 硬故障切换:硬故障切换优先考虑可用性而非数据一致性,旨在恢复服务。在此模式下,主区域始终会接管并接受写入流量,无论主区域的当前状态如何。例如,使用硬故障切换时,即使之前的主区域无法访问,新的主区域也可以接管。

限制

此功能目前为预览版,REPLICATION_TIMESTAMP 仅跟踪目录元数据,而不跟踪 Cloud Storage 文件。如需了解如何将数据丢失风险降至最低,请参阅 Cloud Storage 数据可用性和持久性文档。

后续步骤