线性回归公式：h_θ(x) = θ₀+θ₁x₁+...+θ_nx_n  ; 设x₀=1

　　　　　　　　　　 =θ^Tx

所有的求解方法都是在求θ，目标是让J(θ)最小化;J(θ)=1/2∑(h_θ(x⁽ⁱ⁾)-y⁽ⁱ⁾)²  i=1...m（训练集的数量）

 

如何求θ

　　方法1：梯度下降法：θ_j:=θ_j-α∂J(θ)/∂θ_j,其中α是学习速率，代表着你一步走多长，一般由人工指定，判断收敛的条件为多次叠代后θ的值稳定了

　　　　　　　　　　因为∂J(θ)/∂θ_j=∂(1/2(h_θ(x)-y)²)/∂θ_j

　　　　　　　　　　　　　　　　  =2*1/2(h_θ(x)-y)∂(h_θ(x)-y)/∂θ_j

　　　　　　　　　　　　　　　　  =(h_θ(x)-y)∂(∑θ_ix_i-y)/∂θ_{j    i=1...n(特征的个数)}

　　　　　　　　　　　　　　　　  =(h_θ(x)-y)x_j

　　　　　　　　　　　  所以θ_j:=θ_j-α(h_θ(x)-y)x_j=θ_j+α(y-h_θ(x))x_j

　　　　　　　　对于数量为M的训练来说其梯度下降的公式为：θ_j:=θ_j+α∑(y⁽ⁱ⁾-hθ(x⁽ⁱ⁾))x⁽ⁱ⁾_j  i=1...m

　　　方法2：最小二乘法：设X=训练集里x组成的矩阵，Y=训练集里y组成的矩阵，那么则有：

　　　　　　　　　　　　　Xθ-Y=h_θ(x⁽ⁱ⁾)-y⁽ⁱ⁾组成的矩阵，则1/2(Xθ-Y)^T(Xθ-Y)=J(θ)

　　　　　　　　　　　　　则对J(θ)进行对θ的求导并设最后结果为零能得出X^TXθ-X^TY=0，即θ=(X^TX)^-1X^TY

 

J(θ)的由来：

　　假设回归的误差是满足平均值为零的高斯分布

　　那么L(θ)=∏p(y⁽ⁱ⁾|x⁽ⁱ⁾;θ)=∏exp(-(y(i)-θTx(i))2/2σ2)/2πσ，在2π上有个根号

　　设l(θ) = logL(θ)，把公式展开后最后你就看见-J(θ)和一堆常数，因为l(θ)越大说明误差越小，所以优化的目标就成了让J(θ)越小

 

加权的线性回归：

　　假设离我距离近的x点对回归的影响大，与我距离远的x对我回归的影响小，那么可以把优化的公式假设成：∑ω⁽ⁱ⁾(h_θ(x⁽ⁱ⁾)-y⁽ⁱ⁾)²,ω(i)=exp(-(x⁽ⁱ⁾-x)²/2τ²)

　　

这是本人的个人笔记，如有错误，欢迎拍砖。

PS：谁推荐个好用的公式编辑器啊，发现编辑公式好麻烦啊