机器学习公式详解 第2版

版权信息

书名：E读版-机器学习公式详解 第2版

ISBN：978-7-115-61572-5

本书由人民邮电出版社发行数字版。版权所有，侵权必究。

您购买的人民邮电出版社电子书仅供您个人使用，未经授权，不得以任何方式复制和传播本书内容。

我们愿意相信读者具有这样的良知和觉悟，与我们共同保护知识产权。

如果购买者有侵权行为，我们可能对该用户实施包括但不限于关闭该帐号等维权措施，并可能追究法律责任。

版　　权

著    谢文睿 秦 州 贾彬彬

责任编辑 郭 媛

人民邮电出版社出版发行　　北京市丰台区成寿寺路11号

邮编　100164 　电子邮件　315@ptpress.com.cn

网址　http://www.ptpress.com.cn

读者服务热线：(010)81055410

反盗版热线：(010)81055315

内 容 提 要

周志华老师的《机器学习》（俗称“西瓜书”）是机器学习领域的经典入门教材之一。本书是《机器学习公式详解》（俗称“南瓜书”）的第2版。相较于第1版，本书对“西瓜书”中除了公式以外的重、难点内容加以解析，以过来人视角给出学习建议，旨在对比较难理解的公式和重点内容扩充具体的例子说明，以及对跳步过大的公式补充具体的推导细节。

全书共16 章，与“西瓜书”章节、公式对应，每个公式的推导和解释都以本科数学视角进行讲解，希望能够帮助读者快速掌握各个机器学习算法背后的数学原理。

本书思路清晰，视角独特，结构合理，可作为高等院校计算机及相关专业的本科生或研究生教材，也可供对机器学习感兴趣的研究人员和工程技术人员阅读参考。

序

写此序之时，我们正面临ChatGPT带来的一场技术革命。个人认为，这场革命将会不断持续下去，其影响将十分深远，会触及整个社会的方方面面。我相信人工智能再也无法走出大家的视野。了解、理解人工智能将会成为每个人最基本的能力。

大家知道，机器学习是这些年来人工智能中最核心的技术。学好机器学习，也将是学好人工智能的关键所在，而这本书会助你一臂之力。

这本书的第1版出版之后，大受读者欢迎。在收到众多读者反馈意见的基础上，第2版从多个方面进行了补充和修订，相信这一版会给读者带来更多的收获。

虽然与本书的作者素不相识、从未谋面，但是在看过书稿之后，我便很乐意并且感觉很荣幸有机会给这本书写序。

这是一本与众不同的书。

首先，确切地说，这是一本“伴侣书”。类似于咖啡伴侣，这本书是周志华教授的“西瓜书”——《机器学习》的伴侣书， 它还有一个可爱的名字——“南瓜书”。“南瓜书”对“西瓜书”中的公式进行了解析，并补充了必要的推导过程；在推导公式的过程中，有时候需要一些先验知识，作者为此也进行了必要的补充。上述做法对学习机器学习时“知其然”并“知其所以然”非常重要。虽然现在能用一些机器学习工具来实现某个任务的人越来越多了，但是具有机器学习思维且了解其原理，从而能够解决实际问题的能力在工作中更重要，具有这种能力的人也更具有竞争力。

其次，这是一本通过开源方式多人协作写成的书。这种多人分工合作、互相校验、开放监督的方式，既保证了书的内容质量，也保证了写作的效率。在我看来，这是一种站在读者角度且非常先进的生产方式，容易给读者带来很好的体验。

最后，我想说，这是一本完全根据学习经历编写而成的书。也就是说，这本书完全从读者学习的角度出发， 分享了作者在学习中遇到的一些“坑”以及跳过这些“坑”的方法，这对初学者来说是非常宝贵的经验，也特别能够引起他们的共鸣。 其实，每个人在学习一门新的课程时，都会有自己独特的经验和方法。这种经验和方法的共享非常难能可贵。在这里，理解公式便是作者认为了解机器学习原理的最好方法，其实对于这一点我也深表赞同，因为在学习中我就是那种喜欢推导公式的典型代表，只有公式推导成功，才觉得对知识的原理理解得更深刻，否则总是觉得心里不踏实。

对于本书，我有几点阅读建议，供大家参考。

首先，这本“南瓜书”要和“西瓜书”配套阅读，如果在阅读“西瓜书”时对公式心存疑惑或对概念理解不畅，则可以通过“南瓜书”快速定位公式并进行推导，从而深入理解。从这个意义上讲，“南瓜书”可以看成“西瓜书”的公式字典。

其次，阅读时一定要克服对公式的排斥或畏惧心理。公式既是通过符号对原理本质的高度概括，也是一种精简而美丽的数学语言。在推导几个公式之后，相信读者就能从中感受到没有体验过的乐趣。

最后，这本书非常偏技术原理，看上去也有点儿枯燥，阅读时读者还是要事先做好克服困难的准备。有时，即使作者给出了推导过程，读者也不一定一眼就能理解，这就需要自己静下心来仔细研读。只有这样，你才有可能成为具有机器学习思维而不是只会用机器学习工具的人。

祝大家阅读愉快！

王　斌

小米AI实验室主任、NLP首席科学家

前　　言

在撰写“南瓜书”第1版期间，笔者和秦州有幸结识同样在为“西瓜书”写注解的贾彬彬老师，由于当时第1版已定稿，未能合作，遂相约一起撰写“南瓜书”第2版。我们利用工作之余，历时两年，在第1版的基础上，延续之前的思路，以本科数学视角对“西瓜书”中的内容做了更进一步的解读。除了大幅扩充解读的公式数量以外，我们在部分章节开篇处加注了学习建议和些许见解，供读者参考。此外，为了照顾数学基础薄弱的读者，我们又增添了许多数学知识的解读，同时将其前置在所用到的章节处，不再以附录的形式给出，以便于查阅。

第2版的使用方法保持不变，仍然是“西瓜书”的教辅，读者在阅读“西瓜书”过程中如遇到难以理解的知识点或者公式，可查阅本书相应章节的解读，辅以理解，效果最佳。为了与“西瓜书”中的图表进行区分，本书中的图表序号格式为“章节号-图表序号”（例如“图2-1”），而“西瓜书”中的图表序号格式为“章节号. 图表序号”（例如“图2.1”）。

对于本书中的内容，需要掌握到何种程度？这是自本书第1版出版以来，笔者收到的最多的反馈。其实学习目的不同，需要掌握的程度也不同。学习机器学习的人群按照其学习目的可简单分为三类：期望从事机器学习理论研究的人，期望从事机器学习系统实现的人，以及期望将机器学习应用到具体场景的人。对于期望从事机器学习理论研究的读者，本书中的内容理应全部掌握，同时对本书所涉及数学知识的归属学科也理应系统性学习，诸如最优化、矩阵论和信息论。对于期望从事机器学习系统实现的读者，本书中的内容用于了解算法细节，以便进行工程化实现和性能优化，因此涉及算法原理的公式推导理应读懂。对于期望将机器学习应用到具体场景的读者，本书可以帮助其深入理解各个算法所适用的数据类型，因此其中的公式推导可以不深究。本书的编写初衷是希望分享过来人的经验，以期望帮助“西瓜书”的读者们在有限的时间成本下，踩更少的“坑”，学更多的知识。

本书由开源组织Datawhale的成员采用开源协作的方式完成，参与者包括3位主要作者（谢文睿、秦州和贾彬彬）、5位编委会成员（居凤霞、马晶敏、胡风范、周天烁和叶梁）、12位特别贡献成员（awyd234、feijuan、Ggmatch、Heitao5200、xhqing、LongJH、LilRachel、LeoLRH、Nono17、spareribs、sunchaothu和StevenLzq）。 本书的开源版本托管于GitHub，仓库名为“pumpkin-book”。

由于编者水平有限，书中难免有所纰漏和表述不当之处，还望各位读者批评指正。关注微信公众号“Datawhale”，回复“南瓜书”即可与我们取得联系，我们将尽力提供答疑和勘误。

谢文睿

2023年3月1日于后厂村

主要符号表

资源与支持

本书由异步社区出品，社区（https://www.epubit.com）为您提供后续服务。

配套资源

本书提供如下资源：

● 哔哩哔哩网站配套视频。

您可以扫描右侧二维码并发送“61572”获取配套资源。

您也可以在异步社区本书页面中单击，跳转到下载页面，按提示进行操作即可。注意：为保证购书读者的权益，该操作会给出相关提示，要求输入提取码进行验证。

提交勘误信息

作者和编辑尽最大努力来确保书中内容的准确性，但难免会存在疏漏。欢迎您将发现的问题反馈给我们，帮助我们提升图书的质量。

当您发现错误时，请登录异步社区，按书名搜索，进入本书页面，单击“发表勘误”，输入相关信息，单击“提交勘误”按钮即可，如下图所示。本书的作者和编辑会对您提交的相关信息进行审核，确认并接受后，您将获赠异步社区的100积分。积分可用于在异步社区兑换优惠券、样书或奖品。

与我们联系

我们的联系邮箱是contact@epubit.com.cn。

如果您对本书有任何疑问或建议，请您发邮件给我们，并请在邮件标题中注明本书书名，以便我们更高效地做出反馈。

如果您有兴趣出版图书、录制教学视频，或者参与图书翻译、技术审校等工作，可以发邮件给我们；有意出版图书的作者也可以到异步社区投稿（直接访问www.epubit.com/contribute即可）。

如果您所在的学校、培训机构或企业想批量购买本书或异步社区出版的其他图书，也可以发邮件给我们。

如果您在网上发现有针对异步社区出品图书的各种形式的盗版行为，包括对图书全部或部分内容的非授权传播，请您将怀疑有侵权行为的链接通过邮件发送给我们。您的这一举动是对作者权益的保护，也是我们持续为您提供有价值的内容的动力之源。

关于异步社区和异步图书

“异步社区”是人民邮电出版社旗下IT专业图书社区，致力于出版精品IT图书和相关学习产品，为作译者提供优质出版服务。异步社区创办于2015年8月，提供大量精品IT图书和电子书，以及高品质技术文章和视频课程。更多详情请访问异步社区官网https://www.epubit.com。

“异步图书”是由异步社区编辑团队策划出版的精品IT专业图书的品牌，依托于人民邮电出版社的计算机图书出版积累和专业编辑团队，相关图书在封面上印有异步图书的LOGO。异步图书的出版领域包括软件开发、大数据、人工智能、测试、前端、网络技术等。

异步社区

微信服务号

第1章　绪　　论

本章作为《机器学习公式详解》（俗称“南瓜书”）的开篇，主要讲解什么是机器学习以及机器学习的相关数学符号，为后续内容作铺垫，并未涉及复杂的算法理论，因此读者在阅读本章时只需要耐心梳理清楚所有概念和数学符号即可。此外，在阅读本章前建议先阅读西瓜书目录前页的“主要符号表”，它能解答你在阅读《机器学习》（俗称“西瓜书”）过程中产生的大部分对数学符号的疑惑。

作为本书的开篇，笔者在此赘述一下本书的撰写初衷，本书旨在以“过来人”的视角陪读者一起阅读“西瓜书”，尽力帮读者消除阅读过程中的“数学恐惧”。只要读者学习过《高等数学》《线性代数》和《概率论与数理统计》这三门大学必修的数学课，就能看懂本书对“西瓜书”中的公式所做的解释和推导，同时也能体会到这三门数学课在机器学习上碰撞产生的“数学之美”。

1.1　引　　言

本节以概念理解为主，在此对“算法”和“模型”作补充说明。“算法”是指从数据中学得“模型”的具体方法，例如后续章节中将会讲述的线性回归、对率回归、决策树等。“算法”产出的结果被称为“模型”，通常是具体的函数或者可抽象地看作函数，例如一元线性回归算法产出的模型即为形如的一元一次函数。不过由于严格区分这两者的意义不大，因此多数文献和资料会将它们混用。当遇到这两个概念时，其具体指代根据上下文判断即可。

1.2　基本术语

本节涉及的术语较多且很多术语都有多个叫法，下面梳理各个术语，并将最常用的叫法加粗标注。

样本：也称为“示例”，是关于一个事件或对象的描述。因为要想让计算机能对现实生活中的事物进行机器学习，就必须先将其抽象为计算机能理解的形式，计算机最擅长做的就是进行数学运算，因此考虑如何将其抽象为某种数学形式。显然，线性代数中的向量就很适合，因为任何事物都可以由若干“特征”（或称为“属性”）唯一刻画出来，而向量的各个维度即可用来描述各个特征。例如，如果用色泽、根蒂和敲声这3个特征来刻画西瓜，那么一个“色泽青绿，根蒂蜷缩，敲声清脆”的西瓜用向量来表示即为 （青绿；蜷缩；清脆），其中青绿、蜷缩和清脆分别对应为相应特征的取值，也称为“属性值”。显然，用中文书写向量的方式不够“数学”，因此需要将属性值进一步数值化，具体例子参见“西瓜书”第3章的3.2节。此外，仅靠以上3个特征来刻画西瓜显然不够全面细致，因此还需要扩展更多维度的特征，一般称此类与特征处理相关的工作为“特征工程”。

向量中的元素用分号“;”分隔时表示此向量为列向量，用逗号“,”分隔时表示此向量为行向量

样本空间：也称为“输入空间”或“属性空间”。由于样本采用的是标明了各个特征取值的“特征向量”来进行表示，根据线性代数的知识可知，有向量便会有向量所在的空间，因此称表示样本的特征向量所在的空间为样本空间，通常用花式大写的来表示。

数据集：数据集通常用集合来表示。令集合表示包含个样本的数据集，一般同一份数据集中的每个样本都含有相同个数的特征，假设此数据集中的每个样本都含有个特征，则第个样本的数学表示为维向量，其中表示样本在第个属性上的取值。

模型：机器学习的一般流程为，首先收集若干样本（假设此时有100个），然后将其分为训练样本（80个）和测试样本（20个），其中80个训练样本构成的集合称为“训练集”，20个测试样本构成的集合称为“测试集”。接着选用某个机器学习算法，让其在训练集上进行“学习”（或称为“训练”）。然后产出得到“模型”（或称为“学习器”），最后用测试集来测试模型的效果。当执行以上流程时，表示我们已经默认样本的背后存在某种潜在的规律，我们称这种潜在的规律为“真相”或者“真实”。例如，当样本是一堆好西瓜和坏西瓜时，我们默认的便是好西瓜和坏西瓜背后必然存在某种规律能将其区分开。当我们应用某个机器学习算法来学习时，产出的模型便是该算法找到的它所认为的规律。由于该规律通常并不一定就是所谓的真相，因此我们也将其称为“假设”。通常机器学习算法都有可配置的参数，同一个机器学习算法，使用不同的参数配置或者不同的训练集，训练得到的模型通常也不同。

标记：上文提到机器学习的本质就是学习样本在某个方面的表现是否存在潜在的规律，我们称该方面的信息为“标记”。例如在学习西瓜的好坏时，“好瓜”和“坏瓜”便是样本的标记。一般第个样本的标记的数学表示为，标记所在的空间被称为“标记空间”或“输出空间”，数学表示为花式大写的。标记通常也可以看作样本的一部分，因此一个完整的样本通常表示为。

根据标记的取值类型的不同，可将机器学习任务分为以下两类。

● 当标记取值为离散型时，称此类任务为“分类”，例如学习西瓜是好瓜还是坏瓜、学习猫的图片是白猫还是黑猫等。当分类的类别只有两个时，称此类任务为“二分类”，通常称其中一个为“正类”，称另一个为“反类”或“负类”；当分类的类别超过两个时，称此类任务为“多分类”。由于标记也属于样本的一部分，通常也需要参与运算，因此需要将其数值化。例如对于二分类任务，通常将正类记为，将反类记为，即。这只是一般默认的做法，具体标记该如何数值化可根据具体机器学习算法进行相应的调整，例如第6章的支持向量机算法采用的是。

● 当标记取值为连续型时，称此类任务为“回归”，例如学习预测西瓜的成熟度、学习预测未来的房价等。由于是连续型，因此标记的所有可能取值无法直接罗列，通常只有取值范围，回归任务的标记取值范围通常是整个实数域，即。

无论是分类还是回归，机器学习算法最终学得的模型都可以抽象地看作以样本为自变量，以标记为因变量的函数，即一个从输入空间到输出空间的映射。例如在学习西瓜的好坏时，机器学习算法学得的模型可以看作一个函数，给定任意一个西瓜样本（青绿；蜷缩；清脆），将其输入这个函数即可计算得到一个输出，此时得到的便是模型给出的预测结果。当取值为时，表明模型认为西瓜是好瓜；当取值为时，表明模型认为西瓜是坏瓜。

根据是否用到标记信息，可将机器学习任务分为以下两类。

● 在模型训练阶段用到标记信息时，称此类任务为“监督学习”，例如第3章的线性模型。

● 在模型训练阶段没用到标记信息时，称此类任务为“无监督学习”，例如第9章的聚类。

泛化：由于机器学习的目标是根据已知来对未知做出尽可能准确的判断，因此对未知事物判断的准确与否才是衡量一个模型好坏的关键，我们称此为“泛化”能力。例如在学习西瓜的好坏时，假设训练集中共有3个样本：（（青绿；蜷缩），好瓜），（（乌黑；蜷缩），好瓜），（（浅白；蜷缩），好瓜）}，同时假设判断西瓜好坏的真相是“只要根蒂蜷缩就是好瓜”。应用算法在此训练集上训练得到模型，模型学到的规律是“当色泽等于青绿、乌黑或者浅白时，同时根蒂蜷缩即为好瓜，否则便是坏瓜”；再应用算法在此训练集上训练得到模型，模型学到的规律是“只要根蒂蜷缩就是好瓜”。因此，对于一个未见过的西瓜样本 （金黄；蜷缩）来说，模型给出的预测结果为“坏瓜”，模型给出的预测结果为“好瓜”，此时我们称模型的泛化能力优于模型。

通过以上举例可知，尽管模型和模型对训练集学得一样好，即这两个模型对训练集中每个样本的判断都对，但是其所学到的规律是不同的。导致此现象最直接的原因是算法的不同，但算法通常是有限的、可穷举的，尤其是在特定任务场景下，可使用的算法更是有限。因此，数据便是导致此现象的另一重要原因，这也就是机器学习领域常说的“数据决定模型效果的上限，而算法则是让模型无限逼近上限”,下面详细解释此话的含义。

我们先解释“数据决定模型效果的上限”，其中数据是指从数据量和特征工程两个角度考虑。从数据量的角度来说，通常数据量越大模型效果越好，因为数据量大即表示积累的经验多，因此模型学习到的经验也多，自然表现效果越好。在以上举例中，如果训练集中含有相同颜色但根蒂不蜷缩的坏瓜，那么模型学到真相的概率则也会增大。从特征工程的角度来说，通常对特征数值化越合理，特征收集越全越细致，模型效果通常越好，因为此时模型更易学得样本之间潜在的规律。例如，当学习区分亚洲人和非洲人时，样本即为人。在进行特征工程时，如果收集到每个样本的肤色特征，则其他特征（例如年龄、身高和体重等）便可省略，因为只需要靠肤色这一个特征就足以区分亚洲人和非洲人。

“而算法则是让模型无限逼近上限”是指当数据相关的工作已准备充分时，接下来便可用各种可适用的算法从数据中学习其潜在的规律，进而得到模型，不同的算法学习得到的模型效果自然有高低之分，效果越好则越逼近上限，即逼近真相。

分布：此处的“分布”指的是概率论中的概率分布，通常假设样本空间服从一个未知“分布”，而我们收集到的每个样本都是独立地从该分布中采样得到的，即“独立同分布”。通常收集到的样本越多，越能从样本中反推出的信息，即越接近真相。此假设属于机器学习中的经典假设，在后续学习机器学习算法的过程中会经常用到。

1.3　假设空间

本节的重点是理解“假设空间”和“版本空间”，下面以“房价预测”举例说明。假设现已收集到某地区近几年的房价和学校数量数据，希望利用收集到的数据训练出能通过学校数量预测房价的模型，具体收集到的数据如表1-1所示。

表1-1　房价预测

基于对以上数据的观察以及日常生活经验，不难得出“房价与学校数量成正比”的假设。若将学校数量设为，房价设为，则该假设等价表示学校数量和房价呈的一元一次函数关系，此时房价预测问题的假设空间即为“一元一次函数”。在确定假设空间以后，便可采用机器学习算法从假设空间中学得模型，即从一元一次函数空间中学得能满足表1-1中数值关系的某个一元一次函数。学完第3章的线性回归可知，当前问题属于一元线性回归问题，根据一元线性回归算法可学得模型为。

除此之外，也可以将问题复杂化，假设学校数量和房价呈的一元二次函数关系，此时问题变为线性回归中的多项式回归问题，按照多项式回归算法可学得模型为。因此，以表1-1中的数据作为训练集可以得到多个假设空间，且在不同的假设空间中都有可能学得能够拟合训练集的模型，我们将所有能够拟合训练集的模型构成的集合称为“版本空间”。

1.4　归纳偏好

在“房价预测”的例子中，当选用一元线性回归算法时，学得的模型是一元一次函数；当选用多项式回归算法时，学得的模型是一元二次函数。所以，不同的机器学习算法有不同的偏好，我们称之为“归纳偏好”。对于“房价预测”这个例子来说，在这两个算法学得的模型中，哪个更好呢？著名的“奥卡姆剃刀”原则认为，“若有多个假设与观察一致，则选最简单的那个”，但是何为“简单”便见仁见智了。如果认为函数的幂次越低越简单，则此时一元线性回归算法更好；如果认为幂次越高越简单，则此时多项式回归算法更好。由此可以看出，该方法其实并不“简单”，所以并不常用，而最常用的方法则是基于模型在测试集上的表现来评判模型之间的优劣。测试集是指由训练集之外的样本构成的集合，例如在“房价预测”问题中，通常会额外留有部分未参与模型训练的数据来对模型进行测试。假设此时额外留有1条数据——（年份：2022年；学校数量：3所；房价：70000/）用于测试，模型的预测结果为，预测正确；模型的预测结果为，预测错误。因此，在“房价预测”问题上，我们认为一元线性回归算法优于多项式回归算法。

机器学习算法之间没有绝对的优劣之分，只有是否适合当前待解决的问题之分。例如，上述测试集中的数据如果改为（年份：2022年；学校数量：3所；房价：90000/），则结论便逆转为多项式回归算法优于一元线性回归算法。

1.4.1　式(1.1)和式(1.2)的解释

① → ②：

② → ③：首先要知道此时我们假设是任何能将样本映射到的函数。当存在不止一个时，服从均匀分布，即每个出现的概率相等。例如，当样本空间中只有两个样本时，。那么所有可能的真实目标函数如下：

一共有个可能的真实目标函数。所以此时通过算法学习出来的模型对每个样本无论预测值是0还是1，都必然有一半的与之预测值相等。例如，现在学出来的模型对的预测值为1，即，那么有且只有和与的预测值相等，也就是有且只有一半的与的预测值相等，所以。

需要注意的是，在这里我们假设真实的目标函数服从均匀分布，但是实际情形并非如此，通常我们只认为能高度拟合已有样本数据的函数才是真实目标函数。例如，现在已有的样本数据为，那么此时才是我们认为的真实目标函数。由于没有收集到或者压根不存在这类样本，因此、、都不算是真实目标函数。套用到上述“房价预测”的例子中，我们认为只有能正确拟合测试集的函数才是真实目标函数，也就是我们希望学得的模型。