第一篇机器学习基础篇 1
第 1章线性模型 .................................................. 2
1.1概述 2
1.2算法笔记精华 2
1.2.1普通线性回归 2
1.2.2广义线性模型 5
1.2.3逻辑回归 5
1.2.4线性判别分析 7
1.3 Python实战 10
1.3.1线性回归模型 11
1.3.2线性回归模型的正则化 12
1.3.3逻辑回归 22
1.3.4线性判别分析 26
第 2章决策树 .................................................... 30
2.1概述 30
2.2算法笔记精华 30
2.1决策树原理 30
2.2构建决策树的 3个步骤 31
CART算法 37
2.4连续值和缺失值的处理 42
2.3 Python实战 43
2.3.1回归决策树（DecisionTreeRegressor） 43
2.3.2分类决策树（DecisionTreeClassifir） 49
2.3.3决策图 54
第 3章贝叶斯分类器.............................................. 55
3.1概述 55
3.2 算法笔记精华55
3.2.1 贝叶斯定理55
3.2.2 朴素贝叶斯法56
3.3 Python 实战59
3.3.1 高斯贝叶斯分类器（GaussianNB） 61
3.3.2 多项式贝叶斯分类器（MultinomialNB） 62
3.3.3 伯努利贝叶斯分类器（BernoulliNB） 65
3.3.4 递增式学习partial_fit 方法69
第4 章k 近邻法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.1 概述70
4.2 算法笔记精华70
4.2.1 kNN 三要素70
4.2.2 k 近邻算法72
4.2.3 kd 树73
4.3 Python 实践74
第5 章数据降维. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.1 概述83
5.2 算法笔记精华83
5.2.1 维度灾难与降维83
5.2.2 主成分分析（PCA） 84
5.2.3 SVD 降维91
5.2.4 核化线性（KPCA）降维91
5.2.5 流形学习降维93
5.2.6 多维缩放（MDS）降维93
5.2.7 等度量映射（Isomap）降维96
5.2.8 局部线性嵌入（LLE） 97
5.3 Python 实战99
5.4 小结118
第6 章聚类和EM 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6.1 概述119
6.2 算法笔记精华120
6.2.1 聚类的有效性指标120
6.2.2 距离度量122
6.2.3 原型聚类123
6.2.4 密度聚类126
6.2.5层次聚类 127
6.2.6 EM算法 128
6.2.7实际中的聚类要求 136
6.3 Python实战 137
K均值聚类（KMeans） 138
3.2密度聚类（DBSCAN） 143
3.3层次聚类（AgglomerativeClustering） 146
3.4混合高斯（GaussianMixture）模型 149
6.4小结 153
第二篇机器学习高级篇 155
第 7章支持向量机 ................................................ 156
7.1概述 156
7.2算法笔记精华 157
2.1线性可分支持向量机 157
2.2线性支持向量机 162
2.3非线性支持向量机 166
2.4支持向量回归 167
SVM的优缺点 170
7.3 Python实战 170
7.3.1线性分类 SVM 171
7.3.2非线性分类 SVM 175
7.3.3线性回归 SVR 182
7.3.4非线性回归 SVR 186
第 8章人工神经网络.............................................. 192
8.1概述 192
8.2算法笔记精华 192
8.2.1感知机模型 192
8.2.2感知机学习算法 194
8.2.3神经网络 197
8.3 Python实战 205
3.1感知机学习算法的原始形式 205
3.2感知机学习算法的对偶形式 209
3.3学习率与收敛速度 212
3.4感知机与线性不可分数据集 213
3.5多层神经网络 215
8.3.6多层神经网络与线性不可分数据集 216
8.3.7多层神经网络的应用 219
第 9章半监督学习 ................................................ 225
9.1概述 225
9.2算法笔记精华 226
2.1生成式半监督学习方法 226
2.2图半监督学习 228
9.3 Python实战 234
9.4小结 243
第 10章集成学习 ................................................. 244
10.1概述 244
10.2算法笔记精华 244
10.2.1集成学习的原理及误差 244
10.2.2 Boosting算法 246
10.2.3 AdaBoost算法 246
10.2.4 AdaBoost与加法模型 252
10.2.5提升树 253
10.2.6 Bagging算法 256
10.2.7误差-分歧分解 257
10.2.8多样性增强 259
10.3 Python实战 260
10.3.1 AdaBoost 261
10.3.2 GradientTreeBoosting 272
10.3.3 RandomForest 288
10.4小结 298
第三篇机器学习工程篇 299
第 11章数据预处理............................................... 300
11.1概述 300
11.2算法笔记精华 300
11.2.1去除唯一属性 300
11.2.2处理缺失值的三种方法 301
11.2.3常见的缺失值补全方法 302
11.2.4特征编码 307
2.5数据标准化、正则化 308
2.6特征选择 310
2.7稀疏表示和字典学习 313
11.3 Python实践 316
11.3.1二元化 316
11.3.2独热码 317
11.3.3标准化 321
11.3.4正则化 325
11.3.5过滤式特征选取 326
11.3.6包裹式特征选取 330
11.3.7嵌入式特征选取 334
11.3.8学习器流水线（Pipeline） 339
11.3.9字典学习 340
第 12章模型评估、选择与验证 .................................... 345
12.1概述 345
12.2算法笔记精华 346
2.1损失函数和风险函数 346
2.2模型评估方法 348
2.3模型评估 349
2.4性能度量 350
2.5偏差方差分解 356
12.3 Python实践 357
3.1损失函数 357
3.2数据集切分 359
3.3性能度量 370
3.4参数优化 387
第四篇 Kaggle实战篇 401
第 13章 Kaggle牛刀小试 .......................................... 402
13.1 Kaggle简介 402
13.2清洗数据 403
2.1加载数据 403
2.2合并数据 406
2.3拆分数据 407
2.4去除唯一值 408
2.5数据类型转换 410
13.2.6 Data_Cleaner类 412
13.3数据预处理 415
13.3.1独热码编码 415
13.3.2归一化处理 419
13.3.3 Data_Preprocesser类 421
13.4学习曲线和验证曲线 424
13.4.1程序说明 424
13.4.2运行结果 430
13.5参数优化 433
13.6小结 435
全书符号 ........................................................... 436
· · · · · · (收起)