1. 首页
  2. 机器学习

机器学习要点

一、常用语言

R语言 (S语言 源于统计,数据探索、统计分析、作图的解释型语言。)

www.r-project.org

Python  (瑞士军刀、通用语言、爬虫、网站、 shell)

   NumPy  SciPy Matplotlib

Matlab  矩阵实验室 

WEKA   机器学习与数据挖掘 JAVA环境 图形界面  (hadroop大数据迁移)

二、主要方法

回归预测以及相应的降维技术:线性回归、logistics回归、主成分分析、因子分析、岭回归、LASO

分类器:决策树、朴素贝叶斯、贝叶斯信念网络、支持向量机、提高准确率的Adaboost和随机森林算法。

聚类与孤立点判别

人工神经网络

三、回归

基本思想:利用样本产生拟合方程,从而进行预测。

样本存在误差,学习器将误差也学习了,造成了过拟合问题;

线性回归分析:一元线性;多元线性(曲面、超平面);广义线性等。

非线性回归分析

困难:选定变量(多元)。避免多重共线性,避免过拟合,检验模型是否合理。

函数关系与相关关系(非确定性关系)

相关关系:背后受某种共同因素影响

相关系数   柯西不等式

RSS 残差平方和  OLS

假设检验  t统计量   阈值一般0.05

回归擅长内推插值,不擅长外推归纳

业绩预测 时间序列 季节影响

虚拟变量 (哑变量):

离散、分类变量

加法模型(分类中选n-1个,影响截距)

乘法模型(分类中选n个,影响斜率)

多元线性回归 :   变量选取

逐步回归

向前引入(一元回归开始)

向后剔除(全变量)

衡量标准 :RSS 、相关系数平方、AIC越小越好(赤池信息准则)

回归诊断:

符合正态分布假设?离群点判断;线性模型是否合理?误差是否满足独立、等方差、正态分布等假设?多重共线性?(表现为矩阵不可逆)

多重共线性 Kappa值?

广义线性模型(GLM)

二元变量   S型曲线

 非线性模型:

对数法;指数法;幂函数法;(待定系数a、b)

多项式回归

非线性模型的参数估计 nls

三、假设检验

否定域       显著性水平(一般0.05)  概率密度曲线;总体期望

步骤:

建立原假设
构造检验统计量
确定原假设否定域

四、多元线性回归


矩阵运算 
广义逆出现奇异性:变量比样本多;多重共线性;

五、岭回归(RR)

加K扰动、惩罚函数(2阶)、约束条件;
岭回归的几何意义;有偏性;
岭回归参数趋向更大时,岭回归系数估计趋向于0;
岭迹图:

岭参数一般选择原则:

缺点:参数选择不够严谨科学。

六、LASSO(套索)


最小绝对值收缩;变量的选择;有偏估计;
思想:构建一阶的惩罚函数
引出弹性网,混合岭回归和lasso;

七、最小角回归(LAR)


lasso的高效解法,类似于向前逐步回归;
相关系数的几何意义(中心化、标准化后):内积,夹角的余弦;
LAR的几何意义:利用变量与残差向量的夹角;

原创文章,作者:ppvke,如若转载,请注明出处:http://www.ppvke.com/archives/32299

联系我们

4000-51-9191

在线咨询:点击这里给我发消息

工作时间:周一至周五,9:30-18:30,节假日休息