要成為大模型訓練基礎架構的搭建者，你需要了解與掌握以下幾個方面的技術知識：
- 深度學習理論：理解基本的公式和理論，例如梯度下降，反向傳播，損失函數，啟用函數，過擬合等。熟悉不同類別的神經網絡架構（DNN，CNN，RNN，Transformer等）以及它們特別適應的問題領域。
- 並列和分布式計算：理解平行計算模型，比如數據並列和模型並列。了解分布式計算選項，例如Horovod和Tensorflow的分布式策略。理解如何並列化套用，以及怎樣解決並列化中出現的常見問題，如數據的同步和異步更新，通訊瓶頸等。
- 深度學習框架：精通使用不同的深度學習框架，如TensorFlow，PyTorch或Keras。理解這些框架的執行機制——圖計算，自動微分，最佳化器選擇等，能夠處理框架相關的問題。
- 硬件和基礎設施：理解處理單元（CPU、GPU、TPU）的工作原理，了解加速介質如NVDIA CUDA和ROCm的使用，熟悉用於配置和安裝這些硬件的工具。對於儲存和網絡，知道如何為訓練工作選擇合適的硬件設施，如RAM、硬碟機，超高速互連等。
- 效能最佳化：理解如何最佳化計算效能，例如訊息傳遞介面（MPI）最佳化，混合精度訓練，CPU和GPU的瓶頸。了解如何嵌入式最佳化毎層網絡，如選擇最優的摺積實作以及GPU推斷最佳化。
- 軟件工程：能夠編寫清晰，可維護，可延伸的程式碼。理解不同的設計模式，版本控制工具（如Git），以及如何用工作流引擎（如Jenkins或GitHub Actions）進行持續整合。
- 系統監控和Debug技巧：了解如何在訓練過程中使用系統監控工具來即時追蹤模型效能並進行故障排查。例如，你可能需要熟悉TensorBoard或其他視覺化工具來檢查模型的訓練進度或了解如何使用偵錯程式檢視記憶體使用情況。
- 數據科學和統計：理解如何預處理數據（清理，規範化，增強等），如何選擇和構建有用的特征，以及如何建立有效的交叉驗證策略以避免過擬合。這還包括理解如何構建和解釋效能指標，如準確性，召回率，AUC，損失曲線等。
以上是大模型訓練基礎架構搭建所需的一些最基礎的技術知識。除了以上所述的知識點，還有很多其他的內容需要掌握，例如安全性，可用性，易用性，以及實施持續整合/持續釋出（CI/CD）等領域知識。
