最小二乘演算法大全

A. 最小二乘法的原理是什麼的

最小二乘大約是1795年高斯在他那星體運動軌道預報工作中提出的[1]。後來，最小二乘法就成了估計理論的奠基石。由於最小二乘法結構簡單，編製程序也不困難，所以它頗受人們重視，應用相當廣泛。
如用標准符號，最小二乘估計可被表示為：
ax=b
(2-43)
上式中的解是最小化
，通過下式中的偽逆可求得：
a'ax=a'b
(2-44)
(a'a)^(-1)a'ax=(a'a)^(-1)a'b
(2-45)
由於
(a'a)^-1a'a=i
(2-46)
所以有
x=(a'a)^(-1)a'b
(2-47)
此即最小二乘的一次完成演算法，現代的遞推演算法，更適用於計算機的在線辨識。
最小二乘是一種最基本的辨識方法，但它具有兩方面的缺陷[1]：一是當模型雜訊是有色雜訊時，最小二乘估計不是無偏、一致估計；二是隨著數據的增長，將出現所謂的「數據飽和」現象。針對這兩個問題，出現了相應的辨識演算法，如遺忘因子法、限定記憶法、偏差補償法、增廣最小二乘、廣義最小二乘、輔助變數法、二步法及多級最小二乘法等。

B. 最小二乘法原理及應用

最小二乘法是一種數學優化技術，它通過最小化誤差的平方和找到一組數據的最佳函數匹配。
最小二乘法是用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。
最小二乘法通常用於曲線擬合。很多其他的優化問題也可通過最小化能量或最大化熵用最小二乘形式表達。
比如從最簡單的一次函數y=kx+b講起
已知坐標軸上有些點(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求經過這些點的圖象的一次函數關系式.
當然這條直線不可能經過每一個點,我們只要做到5個點到這條直線的距離的平方和最小即可,這這就需要用到最小二乘法的思想.然後就用線性擬合來求.講起來一大堆。

C. 求回歸方程的最小二乘法，是怎麼計算的

計算方法：

y = Ax + B:a = sigma[(yi-y均值)*(xi-x均值)] / sigma[(xi-x均值)的平方]；b = y均值 - a*x均值。

知識拓展

最小二乘法求回歸直線方程的推導過程

這里的是為了區分Y的實際值y（這里的實際值就是統計數據的真實值，我們稱之為觀察值），當x取值(i=1，2，3……n)時，Y的觀察值為，近似值為（或者說對應的縱坐標是）。
其中式叫做Y對x的回歸直線方程，b叫做回歸系數。要想確定回歸直線方程，我們只需確定a與回歸系數b即可。
設x，Y的一組觀察值為：
i = 1，2，3……n
其回歸直線方程為：
當x取值(i=1，2，3……n)時，Y的觀察值為，差刻畫了實際觀察值與回歸直線上相應點縱坐標之間的偏離程度，見下圖：

D. 最小二乘估計的演算法

以線性回歸為例，說明最小二乘法的演算法：
令線性回歸方程為： y=ax+b (1)
a,b為回歸系數，要用觀測數據(x1,x2,...,xn和y1,y2,...,yn)確定之。
為此構造 Q(a,b)=Σ(i=1->n)[yi-(axi+b)]^2 (2)
使偏差的平方和取極小，就是最小二乘法的核心思想：
為使Q(a，b)取最小，a，b應滿足：
∂Q/∂a= 2Σ(i=1->n)[yi-(axi+b)](-xi)= 0 (3)
∂Q/∂b= 2Σ(i=1->n)[yi-(axi+b)] = 0 (4)
由(3)、(4)解出a ，b就確定了回歸a和b。整理(3),(4)得到：
a Σ (Xi)² + b Σ Xi = Σ Xi Yi (5)
a Σ Xi + b n = Σ Yi (6)
由(5)、(6)是關於a，b的二元線性方程組，解出a，b代入(1)就完成了一元線性回歸。
這就是最小二乘法演算法的基本思路

E. 最小二乘法狀態估計靜態估計演算法有哪些

最小二乘原理 利用樣本回歸函數估計總體回歸函數,是根據一個給定的包含n組X和Y觀測數據的樣本,建立樣本回歸函數,使估計值 盡可能接近觀測值Yi.最小二乘原理就是根據使樣本剩餘的平方和達到最小的准則,確定模型中的參數,建立樣本回歸函數.線性最小二乘估計 以誤差的平方和最小為准則根據觀測數據估計線性模型中未知參數的一種基本參數估計方法.1794年德國數學家C.F.高斯在解決行星軌道預測問題時首先提出最小二乘法.它的基本思路是選擇估計量使模型（包括靜態或動態的,線性或非線性的）輸出與實測輸出之差的平方和達到最小.這種求誤差平方和的方式可以避免正負誤差相抵,而且便於數學處理（例如用誤差的絕對值就不便於處理）.線性最小二乘法是應用最廣泛的參數估計方法,它在理論研究和工程應用中都具有重要的作用,同時它又是許多其他更復雜方法的基礎.線性最小二乘法是最小二乘法最簡單的一種情況,即模型對所考察的參數是線性的.

F. 最小二乘法求直線交點演算法，最好能舉個例子。

(x1-x2)^2 + (y1-y2)^2 = min;

根據直線方程循環迭代，知道min小於某一個精確度e（如1.0e-6).
這個時候取x = (x1 + x2)/2; y = (y1+y2)/2就得到直線交點。

對於循環迭代，解釋下，就是先固定一點A1，然後移動另一直線上一點B1，得min。
再固定B1，移動A1到A2，得到min。
如此循環迭代。