线性回归

定义

给定数据集$D=\{(x_1,y_1),…,(x_m,y_m)\}$，其中$x_i=(x_{i1};x_{i1};…;x_{id}),y_i \in R$ 线性回归试图学得一个线性模型以尽可能精确地预测实值输出标记。

TODO

使用极大似然估计解释最小二乘法

由中心极限定理可知，模型预测值与真实值之间的误差$\epsilon^{(i)}(1\leqslant i \leqslant m)$是独立同分布的，服从均值为0，方差为某定值 $\delta^2$ 的高斯分布。

令$y^{(i)}=\theta^Tx^{(i)}+\epsilon^{(i)}$

$$\because P(\epsilon^{(i)})= \frac{1}{\sqrt{2 \pi }\delta} exp \left( -\frac{\left(\epsilon^{(i)}\right)^2}{2\delta^2} \right)$$ $$\therefore P\left(y^{(i)}|x^{(i)};\theta\right) = \frac{1}{\sqrt{2 \pi }\delta} exp\left(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\delta^2}\right)$$

使用似然函数：

$$L(\theta) = \prod_{i=1}^{m}P\left(y^{(i)}|x^{(i)};\theta\right) = \prod_{i=1}^{m}\frac{1}{\sqrt{2 \pi }\delta}exp\left(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\delta^2}\right)$$

取对数：

$$l(\theta) = logL(\theta) = log{\prod_{i=1}^{m}\frac{1}{\sqrt{2 \pi }\delta}exp\left(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\delta^2}\right)}$$ $$=\sum_{i=1}^{m}log{\frac{1}{\sqrt{2 \pi }\delta} exp\left(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\delta^2}\right)}$$ $$= mlog\frac{1}{\sqrt{2 \pi }\delta} - \frac{1}{\delta^2} \frac{1}{2} \sum_{m}^{i=1}\left(y^{(i)} - \theta^Tx^{(i)} \right)^2$$

最小二乘法是线性回归的一种损失函数：

$$\therefore \Gamma(\theta) = \frac{1}{2}\sum_{i=1}^m \left( h_\theta(x^{(i)})-y^{(i)} \right)^2$$

最小一乘法也是线性回归的一种损失函数。最小二乘法的优点是方差最小，最小一乘法的优点是异常值稳健。