1 前言
今天在做 Machine Learning中多元线性回归的作业~
2 Machine Learning中多元线性回归
2.1 Feature Scaling和 Mean Normalization
实现 Feature Scaling和 Mean Normalization的公式如下:
xi=xi−μisix_i=\frac{x_i-\mu_i}{s_i}xi=sixi−μi
其中,μi\mu_iμi是特征i所有值的平均值,sis_isi是特征i值域的跨度,或者sis_isi也可以是标准差。
2.2 梯度下降
2.2.1 权值θ\thetaθ的梯度公式
第j个权值θj\theta_jθj的梯度公式如下:
∂∂θjJ(θj)=1m∑i=1m(hθ(xi)−yi)⋅xji\frac{\partial }{\partial \theta_j}J(\theta_j)=\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^i)-y^i)\cdot x_j^i ∂θj∂J(θj)=m1i=1∑m(hθ(xi)−yi)⋅xji