统计学习方法-朴素贝叶斯（补充）
2020-07-20 15:41 | 评论：0 次 | 浏览: 80
1．????k近邻法是基本且简单的分类与回归方法。????k近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的????k个最近邻训练实例点，然后利用这????k个训练实例点的类的多数来预测输入实例点的类。2．????k近邻模型对应于基于训练数据集对特征空间的一个划分。????k近邻法中，当训练集、距离度量、????k值及分类决策规则确定后，其结果唯一确定。3．????k近邻法三要素：距离度量、????k值的选择和分类决策规则。常用的距离度量是欧氏距离及更一般的pL距离。????
随机森林学习笔记（未完待续）
2020-07-26 17:09 | 评论：0 次 | 浏览: 65
以下内容参考资料有：周志华《西瓜书》李航《统计学习方法》哔哩哔哩白板推导@shuhuai008哔哩哔哩菜菜的sciki-learn课堂《机器学习实战》吴喜之《多元统计分析——R与python的实现》sciki-learn中random forest的常用接口接口作用apply输入测试集，返回测试样本所在的叶子节点索引predictscorefitpredict_proba返回样本被分到每一类的概率，有几类就返回几个概率。如果是二分类问题，
机器学习算法举例，简明公式及代码
2020-08-01 00:00 | 评论：0 次 | 浏览: 53
机器学习资料多如牛毛，不乏西瓜书，统计学习方法等经典。但多数书籍凸显细节，以致掩盖算法本质，只有参数可调。本文试图避免复杂的公式推导和算法无关的代码，用少量公式和代码，展示算法最基本的组成，以便对机器学习有更加深刻的理解。线性回归机器学习定义五花八门，归结起来，就是得到变量之间的期望的依赖关系。欲拟合变量x,y所满足的线性关系y=ωx+b+ϵy=\omega x+b+\epsilony=ωx+b+ϵ这里的yyy广义上讲是标签， xxx则是特征，ω\omegaω是参数，bbb是偏置项，ϵ\epsilo
Python数据结构--决策树
2020-08-01 00:00 | 评论：0 次 | 浏览: 49
文章目录特征选择信息增益信息熵条件信息熵基尼指数信息增益比决策树生成ID3C4.5CART决策树剪枝CART剪枝特征选择信息增益信息熵信息熵就是用来表示随机变量不确定性的度量。我们以贷款申请样本数据表为例子。ID年龄有工作有房子贷款情况类别条件信息熵基尼指数信息增益比决策树生成ID3C4.5CART决策树剪枝CART剪枝...