三元線性回歸演算法

⑴ 線性回歸公式，怎麼推導的

線性回歸是一種用來研究兩種或兩種以上變數之間相互依存關系的統計分析方法。其中一種變數稱為自變數，另一種稱為因變數。線性回歸假設自變數與因變數之間存在線性關系，即因變數可以用一個或多個自變數的線性組合來表示。公式的推導過程可以分為如下幾個步驟：定義自變數和因變數設有 n 組觀測數據，其中自變數為 x，因變數為 y。因此，可以得到如下的觀測數據：(x1, y1), (x2, y2), … , (xn, yn)假設存在一個線性函數 y=wx+b 能夠較好地描述自變數與因變數之間的關系線性回歸假設存在一個線性函數 y=wx+b 能夠較好地描述自變數與因變數之間的關系，其中 w 和 b 是常數。因此，我們的目標是找到一組最優的 w 和 b 值，使得該函數能夠盡可能准確地描述觀測數據。定義損失函數為了找到最優的 w 和 b 值，我們需要定義一個損失函數來衡量線性函數 y=wx+b 和觀測數據之間的差異。常用的損失函數有均方差損失函數和平均絕對誤差損失函數。均方差損失函數為：L = (1/n) * ∑(yi - (wx + b))^2其中，yi 表示第 i 組觀測數據的因變數，wx+b 表示線性函數對於第 i 組觀測數據的預測值。平均絕對誤差損失函數為：L = (1/n) * ∑|yi - (wx + b)|求解最優解接下來，我們可以使用梯度下降法或其他優化演算法來求解最優解。梯度下降法的基本思想是，通過不斷迭代調整 w 和 b 的值，使得損失函數的值越來越小，從而得到最優的 w 和 b 值。最終，我們就可以得到最優的線性回歸模型 y=wx+b。希望以上回答能幫到你！

⑵ 線性回歸演算法原理（越詳細越好）

線性回歸是利用數理統計中的回歸分析，來確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法之一，運用十分廣泛。

分析按照自變數和因變數之間的關系類型，可分為線性回歸分析和非線性回歸分析。

如果在回歸分析中，只包括一個自變數和一個因變數，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變數，且因變數和自變數之間是線性關系，則稱為多元線性回歸分析。

我們以一簡單數據組來說明什麼是線性回歸。假設有一組數據型態為y=y(x)，其中

x={0,1,2,3,4,5},y={0,20,60,68,77,110}

如果我們要以一個最簡單的方程式來近似這組數據，則非一階的線性方程式莫屬。先將這組數據繪圖如下

圖中的斜線是我們隨意假設一階線性方程式y=20x，用以代表這些數據的一個方程式。以下將上述繪圖的MATLAB指令列出，並計算這個線性方程式的y值與原數據y值間誤差平方的總合。

>>x=[012345];

>>y=[020606877110];

>>y1=20*x;%一階線性方程式的y1值

>>sum_sq=sum(y-y1).^2);%誤差平方總合為573

>>axis([-1,6,-20,120])

>>plot(x,y1,x,y,'o'),title('Linearestimate'),grid

如此任意的假設一個線性方程式並無根據，如果換成其它人來設定就可能採用不同的線性方程式；所以我們須要有比較精確方式決定理想的線性方程式。我們可以要求誤差平方的總合為最小，做為決定理想的線性方程式的准則，這樣的方法就稱為最小平方誤差(leastsquareserror)或是線性回歸。MATLAB的polyfit函數提供了從一階到高階多項式的回歸法，其語法為polyfit(x,y,n)，其中x,y為輸入數據組n為多項式的階數，n=1就是一階的線性回歸法。polyfit函數所建立的多項式可以寫成

從polyfit函數得到的輸出值就是上述的各項系數，以一階線性回歸為例n=1，所以只有二個輸出值。如果指令為coef=polyfit(x,y,n)，則coef(1)=,coef(2)=,...,coef(n+1)=。注意上式對n階的多項式會有n+1項的系數。我們來看以下的線性回歸的示範：

>>x=[012345];

>>y=[020606877110];

>>coef=polyfit(x,y,1);%coef代表線性回歸的二個輸出值

>>a0=coef(1);a1=coef(2);

>>ybest=a0*x+a1;%由線性回歸產生的一階方程式

>>sum_sq=sum(y-ybest).^2);%誤差平方總合為356.82

>>axis([-1,6,-20,120])

>>plot(x,ybest,x,y,'o'),title('Linearregressionestimate'),grid

[編輯本段]線性回歸擬合方程

一般來說，線性回歸都可以通過最小二乘法求出其方程，可以計算出對於y=bx+a的直線，其經驗擬合方程如下：