大家好，欢迎来到IT知识分享网。
逻辑斯谛回归（logistic regression）是统计学习中的经典分类方法，属于对数线性模型，即可以认为是被Sigmoid函数所归一化后的线性回归模型！
根本思想：逻辑斯谛回归的求解最后就是计算交叉熵，而交叉熵就是最大化极大似然函数，通常采用的优化方法是随机梯度下降。
先给出《统计学习方法》里的内容：
但我更喜欢李宏毅老师的版本，更加通俗易懂。根据李宏毅老师的课件，机器学习的算法都可以分为三个部分：
Step1：Function Set
（由于公式不能输入，我只能贴图片了~~~，编辑了好久的公式）
（是不是很像神经元。哈哈）
具体的公式推导如下:
Step 2：判断一个函数的好坏
有了函数集后，我们的下一步目标就是判断一个函数的好坏！这个时候就需要一个训练集（train data）。假想这个训练集是由我们定义的概率生成模型所产生的，每一个X都有一个所属的类别C1或者C2，如下所示。
给定一组w，b，其对应的概率生成模型就确定了，产生的训练集也相对应确定了。要产生上述的训练集，它的机率就通过下面这个公式计算：
下面需要做一个数学的转换推导，详细内容如下：
Step 3：找到最好的function
当我们有了优化目标后，最后一步就是去找最好的function，优化方法自然是随机梯度下降。下面给出梯度的推导过程：
根据随机梯度下降法，找到最好的参数。在这里，为了方便，将参数向量和输入向量加以扩充，仍然记作w,x，即w＝(w(1),w(2),…,w(n),b)T，x＝(x(1),x(2),…,x(n),1)T。
我在学习的时候是李宏毅老师的课程和《统计学习方法》一起学的，结果发现里面的公式居然不一样，心想：我擦，居然有2个不同的结果，也是难受。后来细想才发现，原来二者是一个东西，只是表达的方式不一样（我在怀疑是不是老师也需要查重，哈哈。所以才学我们论文查重时，一样的结果用不同的方式来表达）。
这两个公式，我都跑过程序，结果是一样的。
上面都是二分类的问题，对应到多分类其实也一样，李宏毅老师的课件上的例子非常好理解，这里直接贴出来给大家分享。用的是softmax函数算出的概率作为分类的标准，谁的概率大，就属于哪一类。
下面是一个小的总结，也是逻辑斯谛回归的本质：逻辑斯谛回归的求解最后就是计算交叉熵，而交叉熵就是最大化极大似然函数，通常采用的优化方法是随机梯度下降。
这里也贴出代码，仅供参考！
如有错误或者表述不当的地方，请大家一定指出来，相互学习，相互进步。
结束！（当然，点关注一波也是可以的。）
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/55493.html
