Version d'exécution 2.3 de Managed Service pour Apache Spark | Managed Service for Apache Spark | Google Cloud Documentation

Passer au contenu principal

Documentation

Débuter

Premiers pas avec Google Cloud
Liste des produits
Cloud Customer Care

Sélection de produits

Agent Platform
Apigee API Management
BigQuery
Compute Engine
Cloud CDN
Cloud Run
Cloud Storage
Cloud SQL
Gemini Enterprise
Google Kubernetes Engine
Looker

Outils multiproduits

Gestion des accès et des ressources
Gestion des coûts et de l'utilisation
Infrastructure as Code
SDK, langages, frameworks et outils

Domaines technologiques

IA et ML
Développement d'applications
Hébergement d'applications
Calcul
Analyses de données et pipelines
Bases de données
Solutions distribuées, hybrides et multicloud
Solutions par secteur d'activité
Migration
Mise en réseau
Observabilité et surveillance
Sécurité
Storage

/

Console

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Managed Service for Apache Spark

Commencer l'essai gratuit

Aperçu Guides Référence Exemples Ressources

Documentation
- Plus
- Aperçu
- Guides
- Référence
- Exemples
- Ressources
Console

Aperçu
Concepts clés
Managed Service pour Apache Spark sans serveur
- Aperçu
- Niveaux sans serveur Managed Service pour Apache Spark
Managed Service pour Apache Spark sur les clusters
Comparer les déploiements sans serveur et de cluster
Managed Service pour Apache Spark sur GKE
Premiers pas
Sans serveur
- Créer une charge de travail par lot Spark sans serveur
Clusters
GKE
- Exécuter un job Spark sur Kubernetes
Développer
Sans serveur
- Configurer sans serveur
- Créer des charges de travail et des sessions par lot
- Créer une table Apache Iceberg avec des métadonnées dans le catalogue du runtime Lakehouse
- Transformer des données et écrire dans Apache Iceberg
- Utiliser le connecteur BigQuery avec Spark
  - Aperçu
  - Interroger des tables BigQuery
- Exécuter du code PySpark dans les notebooks BigQuery Studio
- Optimiser
Clusters
- Traitement des données
  - Configurer Spark
    Gérer les dépendances Spark
    Personnaliser l'environnement Spark
    Activer les écritures simultanées
    Améliorer les performances de Spark
    Tune Spark
    Utiliser Lightning Engine
  - Exécuter des jobs Spark
    Utiliser la console
    Utiliser la ligne de commande
    
    Utiliser l'explorateur d'API REST
    Créer un cluster
    Exécuter un job Spark
    Mettre à jour un cluster
    Supprimer un cluster
    Utiliser des bibliothèques clientes
  - Exécuter des tâches Hadoop
  - Écrire et exécuter des tâches Spark Scala
  - Exécuter Trino
  - Exécuter Flink
  - Exécuter Hive
  - Exécuter Pig
  - Exécuter HBase
  - Exécuter Python
    Configurer l'environnement Python
    Utiliser les bibliothèques clientes Cloud pour Python
  - Utiliser des connecteurs de données
    
    Utiliser le connecteur Spark BigQuery
    Aperçu
    Exemples de code de connecteur BigQuery
    Utiliser le connecteur Cloud Storage
    Utiliser le connecteur Spark Spanner
- Lacs de données et lakehouses
- Notebooks et UI de data science
  - Utiliser des notebooks
    Aperçu
    Exécuter un notebook Jupyter sur un cluster
    Exécuter une analyse génomique dans un notebook
    Utiliser l'extension JupyterLab pour développer des charges de travail Spark sans serveur
  - Utiliser la passerelle des composants
- Sources de données et stockage
- Administration et gouvernance des données
  - Gestion de parc
  - Traçabilité
    Activer la traçabilité des données Spark
    Activer la traçabilité des données Hive
- Configurer les clusters
  - Composants
    Aperçu
    Delta Lake
    Docker
    Flink
    HBase
    Hive WebHCat
    Hudi
    Iceberg
    Jupyter
    Pig
    Presto
    
    Ranger
    Installer Ranger
    
    Utiliser Ranger
    Utiliser Ranger avec Kerberos
    Utiliser Ranger avec la mise en cache et la réduction du champ d'application
    Sauvegarder et restaurer un schéma Ranger
    Solr
    Trino
    Zeppelin
    ZooKeeper
  - Regrouper des images
    Aperçu
    Services
    
    Versions des images de cluster
    Aperçu
    Versions d'image 3.0.x
    Versions des images de la version 2.3.x
    Versions d'image 2.2.x
    Versions 2.1.x des images de version
  - Options de calcul
    Types de machines
    GPU
    Configuration minimale de la plate-forme du CPU
    VM flexibles
    Nœuds de calcul secondaires
    Disques durs SSD locaux
    Disques de démarrage
    Hyperdisques associés
- Créer des clusters
- Gestion des clusters
  - Définir des libellés pour le filtrage
  - Scaling des clusters
  - Démarrer et arrêter des clusters
  - Effectuer l'autoscaling des clusters
    Aperçu
    Démarrer et arrêter un cluster
    Planifier l'arrêt d'un cluster
  - Recréer un cluster
  - Faire pivoter des clusters
  - Mettre à jour et supprimer un cluster
  - Se connecter à un cluster à l'aide de SSH
  - Appliquer les bonnes pratiques
    Aperçu
    Maximiser la flexibilité et l'efficacité des clusters et des jobs
  - Gérer les données de cluster
    Stockage de données Hadoop
    Sélectionnez le type de stockage
    Mettre en cache les données de cluster
    Décharger les données de lecture aléatoire