在 Kubernetes 上運用 PySpark、Pandas 與 Polars 進行高效能資料處理培訓

模組 1：Big Data 與 Spark 基礎

• Big Data 生態系統概覽及 Spark 在現代資料平台中的角色
• 理解 Spark 架構：Driver、Executor、叢集管理器、延遲評估（Lazy Evaluation）、DAG 與執行規劃
• RDD 與 DataFrame API 的差異，以及何時使用哪種方法
• 建立與設定 SparkSession，並理解應用程式設定的基礎知識

模組 2：PySpark DataFrames

• 從企業來源與格式讀取/寫入資料：CSV、JSON、Parquet 和 Delta
• 操作 PySpark DataFrames：轉換、動作、欄位表達式、過濾、連結與聚合
• 進階操作實作，如視窗函式、時間戳記處理及嵌套資料處理
• 應用資料品質檢查，撰寫可重用且易維護的 PySpark 程式碼

模組 3：Spark 使用者的 Kubernetes 與 Docker 基礎

• 理解 Docker 映像檔與 Kubernetes Pod 如何對應 Spark Driver 與 Executor 流程 —— 從叢集使用者（非管理員）的概念角度解讀
• 理解當 Spark 作業在 Kubernetes 上運行時發生的事：Pod 調度、資源請求與限制，以及 Session 設定如何映射到這些資源
• 理解透過 Spark Session 參數可控制的內容，與平台團隊透過叢集配置控制的內容之間的差異 —— 以及為什麼這個邊界對調整設定至關重要
• 實作練習： 在沙箱叢集中檢查運行的 Spark-on-Kubernetes 作業，並識別 Driver 與 Executor Pod

模組 4：Kubernetes 上的 Spark Session 設定 — 深度剖析

• 理解 Executor 數量與尺寸的權衡：記憶體與核心的 trade-off，以及如何進行推理決策
• Driver 與 Executor 的記憶體分配、記憶體開銷（Overhead），以及這些如何轉化為 Pod 資源
• 動態資源分配：其在 Kubernetes 上的運作方式、何時能節省資源，何時不能
• 實作練習： 在不同 Executor 與核心設定下運行同一作業，比較執行時間與資源使用量

模組 5：擴展行為與成本優化

• 理解增加或減少節點如何改變作業行為、完成時間與資源消耗
• 比較多個小型 Executor 與少量大型 Executor：效能與成本的權衡
• Shuffle 行為與 Shuffle 分區調優，包括評估設定選擇對成本的影響
• 實作練習： 將沙箱叢集從五個節點擴展至十個，觀察對作業完成時間與資源消耗的影響

模組 6：高效資料攝取與分區

• 理解小檔案問題：為何分散在許多 1–5 MB Parquet 檔案中的來源會降低效能並導致分區扭曲
• 重新分區（Repartitioning）與合併（Coalescing）策略
• 在讀取與寫入時控制分區大小
• 高效寫入 Parquet，避免在下游重現小檔案問題
• 實作練習： 載入由許多小型 Parquet 分區組成的資料集，應用不同的重新分區策略，並比較優化前後效能

模組 7：Pandas 記憶體管理與故障診斷

• 理解 Pandas 記憶體溢出錯誤的根本原因，並識別其症狀
• 在 Spark 與 Pandas 之間應用記憶體高效的轉換模式
• 避免在將大型資料集寫入 CSV 時發生記憶體激增
• 在資源受限的環境中使用區塊處理（Chunked processing）與 dtype 優化
• 實作練習： 重現典型的 Pandas 記憶體溢出場景，並使用區塊處理與 dtype 優化解決它

模組 8：Polars 作為補充工具

• Polars 相對於 Pandas 的定位：效能特性、延遲評估與記憶體行為
• 理解在現代雲端資料堆疊與遷移路線圖中（包括 AWS 環境），Polars 如何與 PySpark 和 Pandas 並存
• 實作練習： 使用 Polars 重寫基於 Pandas 的轉換邏輯，並比較記憶體使用量與處理速度

模組 9：在 ETL 與 ML 工作負載中應用優化

• 在真實的 ETL 管線中應用設定、分區與記憶體管理原則
• 理解在相同叢集上運行機器學習工作負載時的特定優化考量
• 應用實務調優工作流程，系統性地診斷成本與效能問題
• 實作練習： 完成一個端到端的小型專案，結合資料載入、轉換與簡單的模型訓練步驟，由學員自行調整 Spark 設定