机器学习笔记

        参考上一章我们学习的线性回归问题，本章我们要学习的Logictic回归问题的本质其实也是回归问题。例如我们有这样的一些训练样本：

        这些样本的值域是[0, 1]。这一类值域只有0和1的问题我们通常称做二值分类问题，例如我们可以通过对这样的样本进行回归数学模型，然后对新的样本x计算出y的估计值。那么对于上面的样本数据，如果使用线性回归我们希望能够得到这样的分类函数：

        这样的线段取其中点，来对样本分类。但这对于这些样本来说实际情况却不是这样的，由于左侧的样本数量明显少于右侧，所以在对这些样本做线性回归时通常会得到下面的图形：

        可以看到对于这样回归函数的估计值与实际值有很大出入，按线段中点来对样本分类，效果并不好。所以我们才要引入另一个非常有用的二值分类函数Logistic函数（或称作Sigmoid函数）：

        Logistic函数通常被非常好的应用在二值分类问题中，它的值域在0,1之间，并在分类问题中y的值小于0.5时认为其是一类，当y的值大于0.5时认为属于另一类。下面来看一下它的图形：