机器学习：算法视角（原书第2版）

五一假期期间在朋友圈做了一次调研，大家普遍对这本新书感兴趣，所以过完节赶紧找 机械工业出版社华章公司 的老师赞助了5本书做一次AINLP公众号粉丝福利活动，这次规则很简单，直接抽，抽五本， 公众号后台回复 「 抽奖 」 , 弹出抽奖小程序后点击参与，然后静候开奖就是了，开奖时间是后天晚上8点，也就是5月8号周三20点开奖。中奖用户必须是AINLP公众号粉丝，否则视为自动放弃，请中奖的同学添加微信号 "AINLP2" ，再确认一下快递信息，过期不候。最后 感谢本次活动的赞助者 「 机械工业出版社华章公司 」 。

书名： 机器学习：算法视角（原书第2版）

丛书名： 智能科学与技术丛书

ISBN：978-7-111-62226-0

作者： [ 新西兰 ] 史蒂芬·马斯兰（ StephenMarsland ）

译者： 高阳商琳 等译 （南京大学）

定价：99元

出版时间：2019.4

开本：16开

页数：288页

出版社：机械工业出版社

上市时间：2019年4月

CRC Press 机器学习领域畅销教材

知名媒体推荐的十大机器学习入门教材之一。

新西兰惠灵顿维多利亚大学数学与统计学院史蒂芬 · 马斯兰教授所著

南京大学计算机科学与技术系高阳教授、商琳副教授联袂翻译。

本书的核心视角是全面覆盖机器学习中的各种算法并探究其工作原理，旨在帮助读者掌握算法思想，熟悉相关的数学与统计学知识，并掌握必要的编程技巧和实验方法。书中首先介绍基础概念，然后从相对简单的监督学习方法开始讲解，同时讨论了优化和搜索问题，之后分析无监督学习算法，最后探讨更现代的基于统计的机器学习方法。本书配有大量习题，代码示例采用 Python 语言编写，所有代码均可免费下载。

内容简介：

机器学习融合了计算机科学、统计学、数学、工程学等多个学科，应用领域遍及经济、生物、医药、物理、化学等。本书针对计算机科学专业学生遇到的统计学基础知识不足的问题，聚焦于机器学习中的算法，清晰呈现算法背后的数学和统计学知识，同时提供必要的编程技巧和实验方法。
书中全面涵盖各类算法，如神经网络、多层感知器、径向基函数、支持向量机、进化学习、强化学习、决策树学习、无监督学习、图模型等。第 2 版进行了全面修订和更新，以反映机器学习的新发展，新增了两个章节来讨论深度置信网络和高斯过程，此外，还添加了随机森林、考虑精度的方法、 MLP 的共轭梯度优化、卡尔曼滤波和粒子滤波等内容。
本书的代码示例采用 Python 语言编写，所有代码均可从 stephenmonika.net 免费下载。

作者简介：

史蒂芬·马斯兰（ StephenMarsland ）新西兰惠灵顿维多利亚大学数学与统计学院教授，兼任新西兰复杂系统卓越研究中心项目主管，负责复杂性、风险与不确定性等相关主题的研究工作。研究兴趣是几何和复杂系统的应用，主要涉及形状空间、机器学习和算法。

译者简介：

高阳 教授 / 博导，目前任南京大学计算机科学与技术系副主任，中国计算机学会机器学习专委会副主任。 1997 年开始从事人工智能、机器学习、多 Agent 系统、大数据、图像和视频分析等方向的学术研究。 2010 年入选教育部新世纪优秀人才计划。曾获 2017 年度中国人工智能学会吴文俊自然科学奖二等奖、 2018 年度江苏省科学技术奖二等奖。

商琳 博士／副教授， 1998 年起任教于南京大学计算机科学与技术系，长期从事人工智能、机器学习、计算智能、文本挖掘、图像与视频理解等领域的教学与科研工作。目前担任中国计算机学会人工智能与模式识别专委会委员，中国人工智能学会粒计算与知识发现专委会副秘书长。

目录：

Machine Learning: An Algorithmic Perspective, SecondEdition

第2版前言

第1版前言

第1章绪论1

1.1如果数据有质量，地球将成为黑洞1

1.2学习3

1.2.1机器学习3

1.3机器学习的类别4

1.4监督学习5

1.4.1回归5

1.4.2分类6

1.5机器学习过程7

1.6关于编程的注意事项8

1.7本书的学习路线 9

拓展阅读10

第2章预备知识11

2.1专业术语11

2.1.1权重空间11

2.1.2维度灾难12

2.2知你所知：测试机器学习算法13

2.2.1过拟合14

2.2.2训练集、测试集和验证集14

2.2.3混淆矩阵15

2.2.4精度指标16

2.2.5受试者工作特征曲线17

2.2.6不平衡数据集17

2.2.7度量精度18

2.3数据与概率的转换19

2.3.1最小化风险20

2.3.2朴素贝叶斯分类21

2.4基本统计概念22

2.4.1平均值22

2.4.2方差与协方差22

2.4.3高斯分布24

2.5权衡偏差与方差24

拓展阅读26

习题26

第3章神经元、神经网络和线性判别27

3.1大脑和神经元27

3.1.1Hebb法则27

3.1.2McCulloch和Pitts神经元28

3.1.3McCulloch和Pitts神经元模型的局限性29

3.2神经网络30

3.3感知器31

3.3.1学习速率η32

3.3.2输入偏置32

3.3.3感知器学习算法33

3.3.4感知器学习示例34

3.3.5具体实现35

3.4线性可分性39

3.4.1感知器收敛定理40

3.4.2XOR函数41

3.4.3有用的领悟42

3.4.4另一个示例：皮马印第安人数据集43

3.4.5数据预处理44

3.5线性回归45

3.5.1示例46

拓展阅读47

习题48

第4章多层感知器49

4.1前向50

4.1.1偏置50

4.2后向：误差的反向传播50

4.2.1多层感知器算法53

4.2.2初始化权重55

4.2.3不同的输出激活函数56

4.2.4顺序和批量训练57

4.2.5局部最小57

4.2.6利用冲量58

4.2.7小批量和随机梯度下降58

4.2.8其他改善方法59

4.3实践中的MLP59

4.3.1训练数据的量59

4.3.2隐藏层的数目59

4.3.3什么时候停止学习60

4.4MLP应用示例61

4.4.1回归问题61

4.4.2使用MLP分类63

4.4.3分类示例：iris数据集64

4.4.4时间序列预测66

4.4.5数据压缩：自动关联网络68

4.5MLP使用指南69

4.6反向传播的推导70

4.6.1网络输出70

4.6.2网络误差70

4.6.3激活函数的要求71

4.6.4误差的后向传播72

4.6.5输出激活函数74

4.6.6误差函数的另一种形式75

拓展阅读75

习题76

第5章径向基函数和样条函数77

5.1感受野77

5.2径向基函数网络79

5.2.1训练RBF网络80

5.3插值和基函数82

5.3.1基和基扩展83

5.3.2三次样条函数84

5.3.3用样条拟合数据84

5.3.4平滑样条85

5.3.5更高维度86

5.3.6边界之外86

拓展阅读87

习题87

第6章维度约简88

6.1线性判别分析89

6.2主成分分析91

6.2.1PCA算法与多层感知器的关系94

6.2.2核PCA94

6.3因素分析96

6.4独立成分分析97

6.5局部线性嵌入98

6.6ISOMAP算法100

6.6.1多维标度法101

拓展阅读102

习题103

第7章概率学习104

7.1高斯混合模型104

7.1.1期望最大化算法105

7.1.2信息准则107

7.2最近邻法108

7.2.1近邻平滑109

7.2.2有效的距离计算：KD-Tree110

7.2.3距离度量112

拓展阅读114

习题114

第8章支持向量机115

8.1最优分割115

8.1.1间隔和支持向量116

8.1.2约束优化问题117

8.1.3非线性可分问题的松弛变量119

8.2核120

8.2.1选择核121

8.2.2示例：XOR122

8.3支持向量机算法122

8.3.1实现123

8.3.2示例125

8.4支持向量机的拓展126

8.4.1多类分类126

8.4.2支持向量机回归127

8.4.3其他优势128

拓展阅读128

习题128

第9章优化和搜索130

9.1下山法130

9.1.1泰勒展开132

9.2最小二乘优化133

9.2.1Levenberg-Marquardt算法133

9.3共轭梯度法137

9.3.1示例139

9.3.2共轭梯度和MLP139

9.4搜索：三种基本方法141

9.4.1穷举法141

9.4.2贪婪搜索142

9.4.3爬山法142

9.5开发和探索143

9.6模拟退火法143

9.6.1算法比较144

拓展阅读145

习题145

第10章进化学习146

10.1遗传算法147

10.1.1字符串表示147

10.1.2评价适应度148

10.1.3种群148

10.1.4产生后代：选择父母149

10.2产生后代：遗传算子150

10.2.1交叉150

10.2.2变异151

10.2.3精英法、比赛法和小生境151

10.3使用遗传算法153

10.3.1图着色153

10.3.2间断平衡154

10.3.3示例：背包问题155

10.3.4示例：四峰问题155

10.3.5遗传算法的缺陷156

10.3.6用遗传算法训练神经网络156

10.4遗传程序157

10.5与采样结合的进化学习158

拓展阅读159

习题160

第11章强化学习161

11.1概述161

11.2示例：迷路162

11.2.1状态和动作空间163

11.2.2胡萝卜和棍子：奖赏函数164

11.2.3折扣165

11.2.4动作选择165

11.2.5策略166

11.3马尔可夫决策过程166

11.3.1马尔可夫性166

11.3.2马尔可夫决策过程中的概率167

11.4值167

11.5回到迷路的示例：利用强化学习170

11.6sarsa和Q-learning的不同171

11.7强化学习的用处172

拓展阅读172

习题173

第12章树的学习174

12.1使用决策树174

12.2构建决策树175

12.2.1快速入门：信息论中的熵175

12.2.2ID3176

12.2.3基于 Python 的树和图的实现178

12.2.4决策树的实现178

12.2.5处理连续变量180

12.2.6计算复杂度180

12.3分类和回归树181

12.3.1基尼不纯度181

12.3.2树回归182

12.4分类示例182

拓展阅读184

习题184

第13章委员会决策：集成学习186

13.1boosting187

13.1.1AdaBoost187

13.1.2掘根190

13.2bagging190

13.2.1subagging191

13.3随机森林192

13.3.1与boosting方法比较193

13.4组合分类器的不同方法194

拓展阅读195

习题196

第14章无监督学习197

14.1k-means算法197

14.1.1处理噪点200

14.1.2k-means神经网络200

14.1.3归一化201

14.1.4一个更好的权重更新规则202

14.1.5示例：iris数据203

14.1.6使用竞争学习来聚类203

14.2向量量化204

14.3自组织特征映射204

14.3.1SOM算法206

14.3.2近邻连接207

14.3.3自组织208

14.3.4网络维度和边界条件208

14.3.5SOM应用示例209

拓展阅读211

习题211

第15章马尔可夫链蒙特卡罗方法213

15.1采样213

15.1.1随机数213

15.1.2高斯随机数214

15.2蒙特卡罗216

15.3建议分布216

15.4马尔可夫链蒙特卡罗219

15.4.1马尔可夫链219

15.4.2Metropolis-Hastings算法220

15.4.3模拟退火222

15.4.4Gibbs采样223

拓展阅读224

习题225

第16章图模型226

16.1贝叶斯网络227

16.1.1示例：考试恐惧227

16.1.2近似推断230

16.1.3创建贝叶斯网络232

16.2马尔可夫随机场233

16.3隐马尔可夫模型234

16.3.1前向算法236

16.3.2Viterbi算法238

16.3.3Baum-Welch或前向后向算法239

16.4跟踪方法242

16.4.1卡尔曼滤波242

16.4.2粒子滤波247

拓展阅读249

习题250

第17章对称权重与深度置信网络251

17.1积极学习:Hopfield网络252

17.1.1联想记忆252

17.1.2实现联想记忆252

17.1.3能量函数255

17.1.4Hopfield网络的容量256

17.1.5连续Hopfield网络257

17.2随机神经元：玻尔兹曼机257

17.2.1受限玻尔兹曼机259

17.2.2CD算法的推导262

17.2.3监督学习265

17.2.4RBM作为定向置信网络267

17.3深度学习268

17.3.1深度置信网络270

拓展阅读273

习题273

第18章高斯过程274

18.1高斯过程回归275

18.1.1添加噪声276

18.1.2高斯过程回归的实现（一）278

18.1.3学习参数279

18.1.4高斯过程回归的实现（二）280

18.1.5选择（一组）协方差函数282

18.2高斯过程分类282

18.2.1拉普拉斯近似283

18.2.2计算后验283

18.2.3高斯过程分类的实现285

拓展阅读286

习题287

附录Python入门288

第2版前言

Machine Learning: An Algorithmic Perspective, Second Edition

自从本书第1版出版以来，在过去的几年里，机器学习领域有了一些有意义的发展。一个是深度置信网络的崛起，这是一个真正激起了强烈研究兴趣的领域（同时也蕴含着巨大的商业利益，因为大型互联网公司都希望抢购涉足这一领域的每家小公司）；而另一个则是长期持续进行的关于机器学习统计解释的研究。后者作为一个研究领域是非常不错的，但对于计算机科学专业的学生而言，由于欠缺统计学基础知识，起步阶段是很困难的，然而，他们又非常有必要学习和关注这个领域的知识。本书专注于机器学习中的算法，希望能帮助学生掌握算法思想，并熟悉相关的数学与统计学知识，以及必要的编程技巧和实验方法。

此外，可用的Python库一直在不断更新，现在有更多的 工具 可供 程序员 使用。借助这些便利条件，本书提供了用于实验的支持向量机的简单实现，其他几个地方的代码也做了精简。所有示例代码都可以从http://stephenmonika.net/下载（在“Book”标签下），在学习机器学习的过程中，强烈鼓励大家根据需要随时使用这些代码进行实验。

本书第2版的主要修改包括：

●补充了关于两个新领域的新章节：深度置信网络（第17章）和高斯过程（第18章）。

●重新对章节进行了排序，并且增加了一些材料，使得全书更加自然、流畅。

●重新撰写了关于支持向量机的内容，以包含运行代码和实验建议。

●增加了随机森林（13.3节）、感知器收敛定理（3.4.1节）、适当考虑精度的方法（2.2.4节）、MLP的共轭梯度优化（9.3.2节）以及在第16章添加的卡尔曼滤波和粒子滤波。

●改进了代码，包括更好地使用Python的命名约定。

●贯穿全书的文字修改，使解释更清晰，细节更精准。

在此，我要感谢为本书出谋划策的所有人，他们阅读了不同章节，对于内容的取舍与讲解的方式提出了很多建议。还要感谢新西兰梅西大学的学生，他们与我一起研究了这些材料，无论是作为课程作业的一部分，还是作为研究工作的第一步，无论是理论研究还是机器学习应用。感谢那些为第2版做出特别贡献的人，包括：Nirosha Priyadarshani, JamesCurtis,Andy Gilman,  rjan Ekeberg，以及Osnabrück Knowledge-Based Systems Research小组，特别是JoachimHertzberg、Sven Albrecht和ThomasWieman。

Stephen Marsland

于新西兰阿什赫斯特

第1版前言

Machine Learning: An Algorithmic Perspective, Second Edition

在传统的科学研究中，学科与学科之间的融合与交流并不多，而有一门学科则做到了融合计算机科学、统计学、数学、工程学这些学科，甚至将其应用范围扩展至经济、生物、医药、物理、化学等领域中，这就是机器学习。在过去的十年中，机器学习的这种多学科魅力逐渐被人们所理解并推崇。但是，撰写一部系统介绍机器学习的著作是非常困难的，因为这本书要满足不同科学领域的研究者想要了解机器学习的需求。

作为人工智能领域的重要分支，机器学习通常在大学中作为计算机科学类课程开设，但是想要真正了解机器学习算法背后的工作原理，统计学和数学基础是必不可少的。在大学任教期间，我发现其中许多内容对数学基础的要求已经超过了计算机专业学生的所学范围，于是我重新整理了课堂讲稿与笔记，形成了本书的第1版。本书的重点在于介绍机器学习中的各类算法并探究其工作原理，同时附有大量习题。此外，本书的相关网站http://stephenmonika.net/MLbook.html提供书中的示例代码，供读者下载学习。

对于这类实用算法，用实际语言写的例子总是好于某种形式的伪代码。因为这可以让读者马上运行程序并在数据上做实验，而不用操心所选用特定语言的某些无关实现细节。任何计算机编程语言都能用来实现机器学习算法，并且全世界有各种语言的机器学习资源。在本书中我选择的是Python，因为Python语言简单易用、支持多平台，在科学计算中Python几乎已经成为首选语言。对于有编程基础的读者，Python是极易上手的；对于没有编程基础的初学者，Python也是非常友好的，附录A中介绍了如何使用Python进行基础的数值计算。

目前市面上已有许多关于机器学习的优秀著作，而对于本书，我希望它能为想深入学习这门学科的读者提供一个切入点。除此之外，网络上关于机器学习的各种学习资源也颇为丰富，开源软件网站http://mloss.org/software/提供了许多可供下载的机器学习软件。

此外，UCI机器学习库（http://archive.ics.uci.edu/ml/）提供了大量数据集，这些数据集可以用来实现并测试不同的机器学习算法，本书中用到的许多实验数据也来源于此。需要注意的是，在实际问题中，如何获取合适的数据并对其进行预处理以供机器学习算法学习其实是一个不小的问题。

在此，我要对在本书编写过程中给予帮助和提供建议的朋友表示衷心的感谢。尤其感谢Zbigniew Nowicki、Joseph Marsland、Bob Hodgson、Patrick Rynhart、Gary Allen、Linda Chua、Mark Bebbington、JP Lewis、Tom Duckett以及Monika Nowicki对本书第1版的贡献。特别感谢Jonathan Shapiro在机器学习研究过程中对我的帮助。

Stephen Marsland

于新西兰阿什赫斯特