고객 관리 암호화 키(CMEK) | Managed Service for Apache Spark | Google Cloud Documentation

기본 콘텐츠로 건너뛰기

문서

시작하기

Google Cloud 시작하기
제품 목록
Cloud Customer Care

추천 제품

Agent Platform
Apigee API 관리
BigQuery
Compute Engine은
Cloud CDN
Cloud Run
Cloud Storage
Cloud SQL
Gemini Enterprise
Google Kubernetes Engine
Looker

크로스 프로덕트 도구

액세스 및 리소스 관리
비용 및 사용량 관리
코드형 인프라
SDK, 언어, 프레임워크, 도구

기술 분야

AI 및 ML
애플리케이션 개발
애플리케이션 호스팅
컴퓨팅
데이터 분석 및 파이프라인
데이터베이스
분산, 하이브리드, 멀티 클라우드
업종별 솔루션
이전
네트워킹
모니터링 가능성 및 모니터링
보안
Storage

/

콘솔

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

로그인

Managed Service for Apache Spark

무료로 시작하기

개요 가이드 참조 샘플 리소스

문서
- 더보기
- 개요
- 가이드
- 참조
- 샘플
- 리소스
콘솔

개요
주요 개념
Managed Service for Apache Spark 서버리스
- 개요
- Managed Service for Apache Spark 서버리스 등급
클러스터의 Managed Service for Apache Spark
서버리스 및 클러스터 배포 비교
GKE의 Managed Service for Apache Spark
시작하기
서버리스
- 서버리스 Spark 일괄 워크로드 만들기
클러스터
GKE
- Kubernetes에서 Spark 작업 실행
개발
서버리스
- 서버리스 구성
- 일괄 워크로드 및 세션 만들기
- Lakehouse 런타임 카탈로그에서 메타데이터가 포함된 Apache Iceberg 테이블 만들기
- 데이터 변환 및 Apache Iceberg에 쓰기
- BigQuery 커넥터를 Spark와 함께 사용
  - 개요
  - BigQuery 테이블 쿼리
- BigQuery Studio 노트북에서 PySpark 코드 실행
- 최적화
클러스터
- 데이터 처리
  - Spark 구성
    Spark 종속 항목 관리
    Spark 환경 맞춤설정
    동시 쓰기 사용 설정
    Spark 성능 향상
    Spark 조정
    Lightning Engine 사용
  - Spark 작업 실행
    콘솔 사용
    명령줄 사용
    
    REST API 탐색기 사용
    클러스터 만들기
    Spark 작업 실행
    클러스터 업데이트
    클러스터 삭제
    클라이언트 라이브러리 사용
  - Hadoop 작업 실행
  - Spark Scala 작업 작성 및 실행
  - Trino 실행
  - Flink 실행
  - Hive 실행
  - Pig 실행
  - HBase 실행
  - Python 실행
    Python 환경 구성
    Python용 Cloud 클라이언트 라이브러리 사용
  - 데이터 커넥터 사용
    
    Spark BigQuery 커넥터 사용
    개요
    BigQuery 커넥터 코드 샘플
    Cloud Storage 커넥터 사용
    Spark Spanner 커넥터 사용
- 데이터 레이크 및 레이크 하우스
- 데이터 과학 노트북 및 UI
  - 노트북 사용
    개요
    클러스터에서 Jupyter 노트북 실행
    노트북에서 유전체학 분석 실행
    JupyterLab 확장 프로그램을 사용하여 서버리스 Spark 워크로드 개발
  - 구성요소 게이트웨이 사용
- 데이터 소스 및 스토리지
- 관리 및 데이터 거버넌스
  - Fleet 관리
  - 계보
    Spark 데이터 계보 사용 설정
    Hive 데이터 계보 사용 설정
- 클러스터 구성
  - 구성요소
    개요
    Delta Lake
    Docker
    Flink
    HBase
    Hive WebHCat
    Hudi
    Iceberg
    Jupyter
    Pig
    Presto
    
    Ranger
    Ranger 설치
    
    Ranger 사용
    Kerberos와 Ranger 사용
    Ranger를 사용하여 캐싱 사용 설정 및 권한 축소
    Ranger 스키마 백업 및 복원
    Solr
    Trino
    Zeppelin
    Zookeeper
  - 이미지 클러스터링
    개요
    서비스
    
    클러스터 이미지 버전
    개요
    3.0.x 출시 이미지 버전
    2.3.x 출시 이미지 버전
    2.2.x 출시 이미지 버전
    2.1.x 출시 이미지 버전
  - 컴퓨팅 옵션
    머신 유형
    GPU
    최소 CPU 플랫폼
    가변형 VM
    보조 작업자
    로컬 솔리드 스테이트 드라이브
    부팅 디스크
    연결된 하이퍼디스크
- 클러스터 만들기
- 클러스터 관리
  - 필터링 라벨 설정
  - 클러스터 확장
  - 클러스터 시작 및 중지
  - 클러스터 자동 확장
    개요
    클러스터 시작 및 중지
    클러스터 중지 예약
  - 클러스터 다시 만들기
  - 클러스터 순환
  - 클러스터 업데이트 및 삭제
  - SSH를 사용하여 클러스터에 연결
  - 권장사항 준수
    개요
    클러스터 및 작업 유연성과 효율성 극대화
  - 클러스터 데이터 관리
    Hadoop 데이터 스토리지
    스토리지 유형 선택
    클러스터 데이터 캐시
    셔플 데이터 오프로드
    클러스터 로그 보기
- 작업 관리 및 조정
  - 작업 수명
  - 작업 다시 시작
  - 워크플로 템플릿 사용
    개요
    매개변수화
    YAML 파일 사용
    클러스터 선택기 사용
    인라인 워크플로 사용
  - 워크플로 조정
    GitHub 템플릿
    워크플로 예약 솔루션
    워크플로 템플릿 사용
    Cloud Composer 사용
    Cloud Functions 사용
    Cloud Scheduler 사용
GKE
관리 및 거버넌스
서버리스
클러스터
모니터링 및 문제해결
서버리스
- AI 기반 Gemini Cloud Assist로 워크로드 조사
- 서버리스 워크로드 및 세션 모니터링
- 서버리스 워크로드 및 세션 문제 해결
  - 배치 및 세션 생성 실패 문제 해결
  - 배치 및 세션 연결 문제 해결
클러스터
- AI 기반 Gemini Cloud Assist로 클러스터 및 작업 조사
- 클러스터 및 작업 모니터링
- 클러스터 문제 해결
  - 클러스터 진단 데이터 보기
  - 클러스터 생성 문제 해결
- 작업 문제 해결