回归问题属于监督学习的一种。它用于预测输入变量和输出变量之间的关系，特别是当输入变量发生变化时，输出变量的值也会发生变化，回归模型正式表示从输入变量到输出变量之间的映射函数。回归问题的学习等价于函数拟合：选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。回归问题分为学习和预测两个过程。下面我们来说一下如何建立这个线性回归模型。

一、模型（Model）

假设我们有一组数据集D={(x1,y1),(x2,y2),...,(xm,ym)}，我们建立了y=b+w*x这样一个函数模型。其中w和b就是这个模型的参数，我们说的调参就是调整这些参数的值。这两个参数可以取任意值，这样我们会得到无穷多的一个函数集，然后我们需要从中选择出效果好的那个函数。

二、损失函数（Loss Function）

我们如何判断函数的效果好与不好呢，这里就需要定义一个损失函数。

F(x_i)的值为我们定义的函数模型预测的结果，Y_i为真实的结果。损失函数也可以展开写成这样：

接下来我们需要使用一种方法解出上面的方程得到参数w,b。

三、梯度下降（Gradient Descent）

我们在这里使用梯度下降的方法来得到参数w与b。

1.首先随机选出一个参数w0,b0

2.计算偏微分

然后不断迭代更新

其中为Learning rate学习率，它决定学习的速度，也就是下降寻找最低点的速度。

3.然后继续计算偏微分

这样不断的迭代更新，直到找到最低点。

我们一般用

来表示梯度下降的过程。

参考：李宏毅机器学习视频，李航统计学习方法。

放假啦，在家里待了几天，所以没更新，接下来恢复更新啦，准备写个机器学习入门的系列笔记，最后感谢各位观看。