㈠ 機器學習——梯度下降與海森矩陣
機器學習中，梯度下降是優化演算法的核心，尤其在深度學習領域。然而，當面臨病態曲率（pathological curvature）問題時，梯度下降的效率會大大降低，無論是對於鞍點還是局部極值點。病態曲率表現為海森矩陣（Hessian matrix）的condition number較大，這將導致梯度下降收斂速度顯著減慢。
鞍點是函數圖像中一個特殊點，位於局部最優解與局部極小值之間，使得梯度為零但並非全局最優。在梯度下降過程中，如果遇到鞍點，僅僅依賴一階梯度無法判斷下一步的最優路徑，需要通過二階導數分析來確定。
當矩陣可對角化時，即表示該矩陣能分解為一個可逆矩陣與一個對角矩陣的乘積，對角矩陣的主對角線元素即為該矩陣的特徵值，列向量為特徵向量。這樣的對角化過程對於方陣特別有用，但一般矩陣的對角化則通過奇異值分解實現。
海森矩陣描述了函數的曲率信息，對於多變數函數而言，其二階偏導數構成了Hessian矩陣。該矩陣為對稱實數矩陣，可對角化。根據實數對稱矩陣的性質，存在一組標准正交基，這組基對應的矩陣為對角矩陣，其對角線元素即為特徵值。
在優化演算法中，condition number衡量了矩陣的可逆性，對於Hessian矩陣而言，其condition number反映了函數曲率的劇烈變化程度。在使用線性搜索確定學習率的梯度下降法中，參數點的移動方向不僅與梯度相關，還受到海森矩陣的影響。較大的condition number意味著函數在某些方向上變化緩慢，在其他方向上變化迅速，這可能導致梯度下降法在某些方向上進展緩慢，而在另一些方向上快速移動，從而影響收斂效率。
為了解決這個問題，可以採用更高階的優化方法，如牛頓法。牛頓法利用了二階梯度信息（即Hessian矩陣）來更好地估計函數的形狀，從而在更小的步長下達到更快的收斂速度。通過調整學習率與曲率的關系，牛頓法能夠在曲率較大的方向上減小步長，而曲率較小的方向上增大步長，從而實現更高效的梯度下降。
總結來說，通過理解優化理論、掌握矩陣對角化與奇異值分解、分析Hessian矩陣的性質以及應用更高階的優化方法（如牛頓法），我們可以克服梯度下降在病態曲率問題中的局限，提升機器學習模型的優化效率。