使用 Cloud Run functions 的工作流程 | Managed Service for Apache Spark | Google Cloud Documentation

跳至主要內容

說明文件

開始使用

開始使用 Google Cloud
產品清單
Cloud Customer Care

精選產品

Agent Platform
Apigee API 管理平台
BigQuery
Compute Engine
Cloud CDN
Cloud Run
Cloud Storage
Cloud SQL
Gemini Enterprise
Google Kubernetes Engine
Looker

跨產品工具

存取權與資源管理
費用與用量管理
基礎架構即程式碼
SDK、語言、框架和工具

技術領域

AI 和機器學習
應用程式開發
應用程式託管
運算
資料分析和管道
資料庫
分散式雲端、混合雲和多雲端
產業解決方案
遷移
網路
觀測能力與監控
安全性
Storage

/

控制台

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

登入

Managed Service for Apache Spark

免費試用

總覽指南參考資料範例資源

說明文件
- 更多
- 總覽
- 指南
- 參考資料
- 範例
- 資源
控制台

總覽
基本概念
Managed Service for Apache Spark 無伺服器
- 總覽
- Managed Service for Apache Spark 無伺服器層級
叢集上的 Managed Service for Apache Spark
比較無伺服器和叢集部署作業
GKE 上的 Managed Service for Apache Spark
開始使用
無伺服器
- 建立無伺服器 Spark 批次工作負載
叢集
GKE
- 在 Kubernetes 上執行 Spark 工作
開發
無伺服器
- 設定無伺服器
- 建立批次工作負載和工作階段
- 在 Lakehouse 執行階段目錄中，建立含中繼資料的 Apache Iceberg 資料表
- 轉換資料並寫入 Apache Iceberg
- 搭配使用 BigQuery 連接器和 Spark
  - 總覽
  - 查詢 BigQuery 資料表
- 在 BigQuery Studio 筆記本中執行 PySpark 程式碼
- 最佳化
叢集
- 資料處理
  - 設定 Spark
    管理 Spark 依附元件
    自訂 Spark 環境
    啟用並行寫入
    強化 Spark 效能
    調整 Spark
    使用 Lightning Engine
  - 執行 Spark 工作
    使用控制台
    使用指令列
    
    使用 REST API Explorer
    建立叢集
    執行 Spark 工作
    更新叢集
    刪除叢集
    使用用戶端程式庫
  - 執行 Hadoop 工作
  - 編寫及執行 Spark Scala 工作
  - 執行 Trino
  - 執行 Flink
  - 執行 Hive
  - Run Pig
  - 執行 HBase
  - 執行 Python
    設定 Python 環境
    使用 Python 適用的 Cloud 用戶端程式庫
  - 使用資料連接器
    
    使用 Spark BigQuery 連接器
    總覽
    BigQuery 連接器程式碼範例
    使用 Cloud Storage 連接器
    使用 Spark Spanner 連接器
- 資料湖泊和湖倉
- 資料科學筆記本和 UI
  - 使用筆記本
    總覽
    在叢集上執行 Jupyter 筆記本
    在筆記本執行基因體學分析
    使用 JupyterLab 擴充功能，開發無伺服器 Spark 工作負載
  - 使用元件閘道
- 資料來源和儲存空間
- 管理與資料治理
  - 機群管理
  - 歷程
    啟用 Spark 資料歷程
    啟用 Hive 資料歷程
- 設定叢集
  - 元件