最小二乘算法大全

A. 最小二乘法的原理是什么的

最小二乘大约是1795年高斯在他那星体运动轨道预报工作中提出的[1]。后来，最小二乘法就成了估计理论的奠基石。由于最小二乘法结构简单，编制程序也不困难，所以它颇受人们重视，应用相当广泛。
如用标准符号，最小二乘估计可被表示为：
ax=b
(2-43)
上式中的解是最小化
，通过下式中的伪逆可求得：
a'ax=a'b
(2-44)
(a'a)^(-1)a'ax=(a'a)^(-1)a'b
(2-45)
由于
(a'a)^-1a'a=i
(2-46)
所以有
x=(a'a)^(-1)a'b
(2-47)
此即最小二乘的一次完成算法，现代的递推算法，更适用于计算机的在线辨识。
最小二乘是一种最基本的辨识方法，但它具有两方面的缺陷[1]：一是当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；二是随着数据的增长，将出现所谓的“数据饱和”现象。针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及多级最小二乘法等。

B. 最小二乘法原理及应用

最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。
最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。
最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。
比如从最简单的一次函数y=kx+b讲起
已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次函数关系式.
当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这这就需要用到最小二乘法的思想.然后就用线性拟合来求.讲起来一大堆。

C. 求回归方程的最小二乘法，是怎么计算的

计算方法：

y = Ax + B:a = sigma[(yi-y均值)*(xi-x均值)] / sigma[(xi-x均值)的平方]；b = y均值 - a*x均值。

知识拓展

最小二乘法求回归直线方程的推导过程

这里的是为了区分Y的实际值y（这里的实际值就是统计数据的真实值，我们称之为观察值），当x取值(i=1，2，3……n)时，Y的观察值为，近似值为（或者说对应的纵坐标是）。
其中式叫做Y对x的回归直线方程，b叫做回归系数。要想确定回归直线方程，我们只需确定a与回归系数b即可。
设x，Y的一组观察值为：
i = 1，2，3……n
其回归直线方程为：
当x取值(i=1，2，3……n)时，Y的观察值为，差刻画了实际观察值与回归直线上相应点纵坐标之间的偏离程度，见下图：

D. 最小二乘估计的算法

以线性回归为例，说明最小二乘法的算法：
令线性回归方程为： y=ax+b (1)
a,b为回归系数，要用观测数据(x1,x2,...,xn和y1,y2,...,yn)确定之。
为此构造 Q(a,b)=Σ(i=1->n)[yi-(axi+b)]^2 (2)
使偏差的平方和取极小，就是最小二乘法的核心思想：
为使Q(a，b)取最小，a，b应满足：
∂Q/∂a= 2Σ(i=1->n)[yi-(axi+b)](-xi)= 0 (3)
∂Q/∂b= 2Σ(i=1->n)[yi-(axi+b)] = 0 (4)
由(3)、(4)解出a ，b就确定了回归a和b。整理(3),(4)得到：
a Σ (Xi)² + b Σ Xi = Σ Xi Yi (5)
a Σ Xi + b n = Σ Yi (6)
由(5)、(6)是关于a，b的二元线性方程组，解出a，b代入(1)就完成了一元线性回归。
这就是最小二乘法算法的基本思路

E. 最小二乘法状态估计静态估计算法有哪些

最小二乘原理 利用样本回归函数估计总体回归函数,是根据一个给定的包含n组X和Y观测数据的样本,建立样本回归函数,使估计值 尽可能接近观测值Yi.最小二乘原理就是根据使样本剩余的平方和达到最小的准则,确定模型中的参数,建立样本回归函数.线性最小二乘估计 以误差的平方和最小为准则根据观测数据估计线性模型中未知参数的一种基本参数估计方法.1794年德国数学家C.F.高斯在解决行星轨道预测问题时首先提出最小二乘法.它的基本思路是选择估计量使模型（包括静态或动态的,线性或非线性的）输出与实测输出之差的平方和达到最小.这种求误差平方和的方式可以避免正负误差相抵,而且便于数学处理（例如用误差的绝对值就不便于处理）.线性最小二乘法是应用最广泛的参数估计方法,它在理论研究和工程应用中都具有重要的作用,同时它又是许多其他更复杂方法的基础.线性最小二乘法是最小二乘法最简单的一种情况,即模型对所考察的参数是线性的.

F. 最小二乘法求直线交点算法，最好能举个例子。

(x1-x2)^2 + (y1-y2)^2 = min;

根据直线方程循环迭代，知道min小于某一个精确度e（如1.0e-6).
这个时候取x = (x1 + x2)/2; y = (y1+y2)/2就得到直线交点。

对于循环迭代，解释下，就是先固定一点A1，然后移动另一直线上一点B1，得min。
再固定B1，移动A1到A2，得到min。
如此循环迭代。