Fluxo de trabalho usando funções do Cloud Run | Managed Service for Apache Spark | Google Cloud Documentation

Ir para o conteúdo principal

Documentação

Começar

Começar a usar o Google Cloud
Lista de produtos
Cloud Customer Care

Produtos em destaque

Agent Platform
Gerenciamento de APIs da Apigee
BigQuery
Compute Engine
Cloud CDN
Cloud Run
Cloud Storage
Cloud SQL
Gemini Enterprise
Google Kubernetes Engine
Looker

Ferramentas de vários produtos

Gerenciamento de recursos e acesso
Gerenciamento de custos e uso
Infraestrutura como código
SDK, linguagens, frameworks e ferramentas

Áreas de tecnologia

IA e ML
Desenvolvimento de aplicativos
Hospedagem de aplicativos
Computação
Pipelines e análises de dados
Bancos de dados
Distribuído, híbrido e multicloud
Soluções por setor
Migração
Rede
Observabilidade e monitoramento
Segurança
Storage

/

Console

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Managed Service for Apache Spark

Comece sem custos financeiros

Visão geral Guias Referência Exemplos Recursos

Documentação
- Mais
- Visão geral
- Guias
- Referência
- Exemplos
- Recursos
Console

Visão geral
Principais conceitos
Serviço Gerenciado para Apache Spark sem servidor
- Visão geral
- Níveis sem servidor do Serviço Gerenciado para Apache Spark
Serviço Gerenciado para Apache Spark em clusters
Comparar implantações sem servidor e de cluster
Serviço Gerenciado para Apache Spark no GKE
Começar
Sem servidor
- Criar uma carga de trabalho em lote do Spark sem servidor
Clusters
GKE
- Executar um job do Spark no Kubernetes
Desenvolver
Sem servidor
- Configurar sem servidor
- Criar cargas de trabalho e sessões em lote
- Criar uma tabela do Apache Iceberg com metadados no catálogo de tempo de execução do Lakehouse
- Transformar dados e gravar no Apache Iceberg
- Use o conector do BigQuery com o Spark
  - Visão geral
  - Consultar tabelas do BigQuery
- Executar código PySpark em notebooks do BigQuery Studio
- Otimizar
Clusters
- Tratamento de dados
  - Configurar o Spark
    Gerenciar dependências do Spark
    Personalizar o ambiente do Spark
    Ativar gravações simultâneas
    Melhorar a performance do Spark
    Tune Spark
    Usar o Lightning Engine
  - Executar jobs do Spark
    Usar o console
    Usar a linha de comando
    
    Usar o REST APIs Explorer
    Criar um cluster
    executar um job do Spark
    Atualizar um cluster
    Excluir um cluster
    Usar as bibliotecas de cliente
  - Executar jobs do Hadoop
  - Gravar e executar jobs do Spark Scala
  - Executar o Trino
  - Executar o Flink
  - Executar o Hive
  - Executar Pig
  - Executar o HBase
  - Executar Python
    Configurar o ambiente Python
    Usar as bibliotecas de cliente do Cloud para Python
  - Usar conectores de dados
    
    Usar o conector do BigQuery para Spark
    Visão geral
    Exemplos de código do conector do BigQuery
    Usar o conector do Cloud Storage
    Usar o conector do Spark Spanner
- Data lakes e lake houses
- Notebooks e interfaces de ciência de dados
  - Usar notebooks
    Visão geral
    Executar um notebook Jupyter em um cluster
    Executar uma análise genômica em um notebook
    Usar a extensão do JupyterLab para desenvolver cargas de trabalho do Spark sem servidor
  - Usar o Gateway de componentes
- Origens e armazenamento de dados
- Administração e governança de dados
  - Gerenciamento de frotas
  - Linhagem
    Ativar a linhagem de dados do Spark
    Ativar a linhagem de dados do Hive
- Configurar clusters
  - Componentes
    Visão geral
    Delta Lake
    Docker
    Flink
    HBase
    Hive WebHCat
    Hudi
    Iceberg
    Jupyter
    Pig
    Presto
    
    Ranger
    Instalar o Ranger
    
    Usar o Ranger
    Usar o Ranger com Kerberos
    Usar o Ranger com armazenamento em cache e redução de escopo
    Fazer backup e restaurar um esquema do Ranger
    Solr
    Trino
    Zeppelin
    Zookeeper
  - Agrupar imagens
    Visão geral
    Serviços
    
    Versões de imagens do cluster
    Visão geral
    Versões de imagem de lançamento 3.0.x
    Versões de imagem de lançamento 2.3.x
    Versões de imagem de lançamento 2.2.x
    Versões de imagem de lançamento 2.1.x
  - Opções de computação
    Tipos de máquina
    GPUs
    Plataforma mínima de CPU
    VMs flexíveis
    Workers secundários
    Unidades de estado sólido locais
    Discos de inicialização
    Hyperdisks anexados
- Crie clusters
- Gerenciar clusters
  - Definir rótulos para filtragem
  - Escalonamento de clusters
  - Iniciar e interromper clusters
  - Escalonar clusters automaticamente
    Visão geral
    Iniciar e parar um cluster
    Programar a interrupção do cluster
  - Recriar um cluster
  - Rotação de clusters
  - Atualizar e excluir um cluster
  - Usar SSH para se conectar a um cluster
  - Siga as práticas recomendadas
    Visão geral
    Maximizar a flexibilidade e a eficiência de clusters e jobs
  - Gerenciar dados de cluster
    Armazenamento de dados Hadoop
    Selecione o tipo de armazenamento
    Dados do cluster de cache
    Descarregar dados de embaralhamento
    Acessar registros do cluster
- Gerenciar e orquestrar jobs
  - Vida útil de um job
  - Reiniciar jobs
  - Usar modelos de fluxo de trabalho
    Visão geral
    Parametrização
    Usar arquivos YAML
    Usar seletores de cluster
    Usar fluxos de trabalho in-line
  - Orquestrar fluxos de trabalho
    Modelos do GitHub
    Soluções de programação de fluxo de trabalho
    Usar modelos de fluxo de trabalho
    Usar o Cloud Composer
    Usar o Cloud Functions
    Usar o Cloud Scheduler
GKE
Administrar e governar
Sem servidor
Clusters