rambo

LR(二、实践)

任务1:根据每个学生两场考试的成绩来预测他(她)是否能够考入大学?(可以看出数据是线性可分的)

训练样本数据矩阵X\in R^{100\times 2}(100个训练样本,2维特征)可视化,黑点表示正样本,黄点表示负样本。

QQ截图20150820163717

 

LR中的loss function

\begin{split}l(\beta)&=\frac{1}{N}\sum_{i=1}^{N}\{y_{i}log p(x_{i};\beta)+(1-y_{i})log(1- p(x_{i};\beta)\}\\&=\frac{1}{N}\sum_{i=1}^{N}\{y_{i}\beta^{T}x_{i}-log(1+exp^{\beta^{T}x_{i}})\}\end{split}

损失函数的梯度

极大化对数似然,对\beta的每一个分量\beta_{j}求偏导,j=1,...,p+1,显然其维数与\beta维数一致。

QQ截图20150820021628

这里我们对于权重系数向量的更新采用了Matlab自带的无约束最优化fminunc函数(可用于任意函数求最小值,将最大、最小统一为求最小值问题)

根据优化得到的权重参数画出分界面或分界线。
QQ截图20150820170342

分类函数:

p = predict(theta, X);

准确率为89%。

 

http://bbs.vsharing.com/Technology/CloudComputing/1743704-1.html

http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971903.html

http://blog.csdn.net/viewcode/article/details/8794401

http://blog.csdn.net/sprintfwater/article/details/8948349#comments

http://blog.csdn.net/yuwei19840916/article/details/3245107