📉 梯度下降與數值最佳化
機器學習的本質就是一個最佳化問題：找到一組參數，讓損失函數的值最小。
本課程將從最基礎的梯度下降開始，一步步實作 Momentum、RMSProp、Adam 等現代最佳化器，並用 Vibe Coding 視覺化它們的收斂行為。
🔥 Vibe Coding 核心 Prompt
【梯度下降詠唱範例】
「請幫我視覺化梯度下降的收斂過程：1. 建立一個二維的損失函數 f(x,y) = x² + 2y²。2. 從 (3, 4) 開始，使用學習率 lr=0.1 進行梯度下降。3. 用等高線圖顯示損失函數，並畫出參數的更新軌跡。4. 比較不同學習率 (0.01, 0.1, 0.5) 的收斂速度。5. 加入 Momentum 項，觀察振盪減少的效果。6. 用動畫展示每一步的更新過程。」
🎯 課程大綱
- 梯度下降原理
- 學習率與收斂分析
- Momentum 與 NAG
- RMSProp 與 Adam
- 實戰：從零訓練一個線性回歸