书名：PaddlePaddle Fluid 深度学习入门与实战
ISBN：978-7-115-55539-7
本书由人民邮电出版社发行数字版。版权所有，侵权必究。
您购买的人民邮电出版社电子书仅供您个人使用，未经授权，不得以任何方式复制和传播本书内容。
我们愿意相信读者具有这样的良知和觉悟，与我们共同保护知识产权。
如果购买者有侵权行为，我们可能对该用户实施包括但不限于关闭该帐号等维权措施，并可能追究法律责任。
著 潘志宏 王培彬
责任编辑 颜景燕
人民邮电出版社出版发行 北京市丰台区成寿寺路11号
邮编 100164 电子邮件 315@ptpress.com.cn
网址 http://www.ptpress.com.cn
读者服务热线：(010)81055410
反盗版热线：(010)81055315
本书全面讲解PaddlePaddle Fluid框架在深度学习领域的应用。全书共15章，分别是PaddlePaddle深度学习开发环境的搭建、PaddlePaddle快速入门、线性回归算法实战、卷积神经网络实战、循环神经网络实战、生成对抗网络实战、强化学习实战、模型的保存与使用、迁移学习实战、可视化工具Visual DL的使用、自定义图像数据集识别项目实战、自定义文本数据集分类项目实战、动态图的使用、开发具有AI能力的服务器接口、移动端深度学习框架Paddle Lite的项目实战。
本书实例丰富，适合机器学习爱好者、程序员、人工智能方面的从业人员阅读，也可以作为人工智能相关专业的师生用书和相关培训学校的教材。
机器学习在20世纪80年代就在算法、理论和应用等方面取得了很大的成功，而深度学习，作为机器学习的一种方法，却在2006年才开始进入相关研究人员的视野。2006年，Hiton提出了用“无监督训练对权值进行初始化+有监督训练微调”来解决深层网络训练中的梯度消失问题，因此2006年被定为深度学习元年。由于Hiton提出的解决方案没有经过特别有效的实验验证，因此没有引起相关学者的重视。直到2012年，Alex等人在ImageNet图像识别比赛中搭建了一个深度卷积神经网络AlexNet并获得比赛冠军，比第二名的准确率还要高至少10%，才使得卷积神经网络乃至深度学习重新引起了广泛的关注。至此之后，深度学习被应用到各种实际项目中。
PaddlePaddle是百度公司在2016年开源的一个深度学习框架。PaddlePaddle发展至今，其可以轻松部署到服务器、移动手机和嵌入式设备中。为了方便开发者的使用，PaddlePaddle还开源了大量常用的深度学习模型。虽然PaddlePaddle已经很完善了，但是PaddlePaddle的相关书籍还比较少。因此，我们想出版一本书帮助更多的开发者学习PaddlePaddle。经过很长时间的研究和实验，我们最终完成了PaddlePaddle Fluid版本的图书的编写。
本书共有15章，难度由浅入深，一步步带领读者从PaddlePaddle的安装，到PaddlePaddle的简单使用，再到深度学习模型的部署，逐渐掌握PaddlePaddle及其应用方法。本书适合零基础但又希望能够快速入门深度学习的读者，或者是想从其他深度学习框架迁移到PaddlePaddle的读者。本书在介绍PaddlePaddle的使用过程中，也会穿插一些深度学习的知识点，帮助读者了解更多的深度学习知识。我们在GitHub平台开源了本书的全部代码，本书的代码支持PaddlePaddle 2.0版本。
第1章介绍PaddlePaddle的安装，本书主要介绍PaddlePaddle在Windows操作系统下的安装教程，也提供了在Ubuntu操作系统下的安装教程和在AI Studio平台的使用方式，特别是AI Studio平台能够满足没有GPU的读者使用。
第2章介绍PaddlePaddle的使用方式，本章能够让读者快速熟悉PaddlePaddle的使用方式。
第3章介绍PaddlePaddle的各种神经网络模型的构建、训练以及预测。本章介绍深度学习中最简单的实例—线性回归算法，通过线性回归算法这个例子，读者可以快速掌握PaddlePaddle深度学习模型的搭建、数据的读取，以及训练模型，最后还可以使用训练模型预测得到结果。
第4章介绍卷积神经网络的使用，通过一个图像识别案例——MNIST手写数字识别帮助读者认识卷积神经网络。通过这个例子读者可以了解如何使用PaddlePaddle搭建一个卷积神经网络，并使用训练好的模型预测一张图片。
第5章介绍循环神经网络的使用，利用循环神经网络实现一个情感分析的文本分类，帮助读者熟悉循环神经网络的搭建。
第6章介绍生成对抗网络的搭建和训练，使用生成对抗网络训练MNIST手写数据集，最后生成数字图像。
第7章介绍强化学习，通过强化学习模型学习如何玩一个小游戏，最终强化学习模型可以把这个游戏玩到最高分。
第8章介绍PaddlePaddle模型的保存与使用，让读者掌握如何使用PaddlePaddle保存已经训练好的模型，并使用这个模型预测其他未训练的数据。
第9章介绍迁移学习，在保存模型的基础上，介绍如何使用之前已经训练好的模型在其他数据中做模型迁移，减少模型训练时间，提高准确率。
第10章介绍Visual DL训练可视化，Visual DL是PaddlePaddle提供的一种可视化工具，能够帮助读者将训练情况可视化，方便读者根据训练情况调整参数。
第11章和第12章分别介绍了自定义图像数据集的训练和自定义文本数据集的训练，通过这两章的学习，读者可以学到如何自定义数据训练模型，可以更好地训练自己项目中实际的数据集。
第13章介绍动态图的使用，动态图的代码编写方式更像平常的编写方式，这是PaddlePaddle新推出的一种机制，动态图机制的出现使得模型编写更加易于理解。
第14章和第15章分别介绍了模型在服务器上的部署和在移动端上的部署，这也是我们训练模型最终的目的。模型部署使得我们的项目拥有了深度学习的能力，真正成为一个人工智能的项目。
广州新华学院潘志宏副教授担任本书主编，并负责全书内容的组织和编审，以及部分章节的编写，王培彬（网名为夜雨飘零）负责大部分章节的编写。本书的编写得到以下基金项目的支持：教育部产学合作协同育人项目（201802153146、201702071078），广东省普通高校重大平台与重大科研项目-青年创新人才项目（自然科学）（2016KQNCX222）。另外，本书在编写的过程中得到了各个技术社区开发者的帮助，在此笔者对这些热心的开发者表示衷心感谢。
由于笔者的水平和认知有限，书中难免会有不妥之处，恳请各位读者批评指正。
潘志宏 王培彬
2021年3月
本书由异步社区出品，社区（https://www.epubit.com/）为您提供相关资源和后续服务。
本书提供如下资源：
实例配套源代码。
实例相关素材和数据集（部分）。
要获得以上配套资源，请在异步社区本书页面中找到“配套资源”栏，按提示进行操作。注意：为保证购书读者的权益，该操作会给出相关提示，要求输入提取码进行验证。
作者和编辑尽最大努力来确保书中内容的准确性，但难免会存在疏漏。欢迎您将发现的问题反馈给我们，帮助我们提升图书的质量。
当您发现错误时，请登录异步社区，按书名搜索，进入本书页面，在“图书勘误”栏，点击“发表勘误”，输入勘误信息，点击“提交勘误”按钮即可。本书的作者和编辑会对您提交的勘误进行审核，确认并接受后，您将获赠异步社区的100积分。积分可用于在异步社区兑换优惠券、样书或奖品。
我们的联系邮箱是contact@epubit.com.cn。
如果读者对本书有任何疑问或建议，请读者发邮件给我们，并请在邮件标题中注明本书书名，以便我们更高效地做出反馈。
如果读者有兴趣出版图书、录制教学视频，或者参与图书翻译、技术审校等工作，可以发邮件给我们；有意出版图书的作者也可以到异步社区在线提交投稿（直接访问www.epubit.com/selfpublish/submission即可）。
如果读者所处的学校、培训机构或企业，想批量购买本书或异步社区出版的其他图书，也可以发邮件给我们。
如果读者在网上发现有针对异步社区出品图书的各种形式的盗版行为，包括对图书全部或部分内容的非授权传播，请读者将怀疑有侵权行为的链接发邮件给我们。读者的这一举动是对作者权益的保护，也是我们持续为读者提供有价值的内容的动力之源。
“异步社区”是人民邮电出版社旗下IT专业图书社区，致力于出版精品IT技术图书和相关学习产品，为作译者提供优质出版服务。异步社区创办于2015年8月，提供大量精品IT技术图书和电子书，以及高品质技术文章和视频课程。更多详情请访问异步社区官网https://www.epubit.com。
“异步图书”是由异步社区编辑团队策划出版的精品IT专业图书的品牌，依托于人民邮电出版社近30年的计算机图书出版积累和专业编辑团队，相关图书在封面上印有异步图书的LOGO。异步图书的出版领域包括软件开发、大数据、 AI、测试、前端、网络技术等。
异步社区
微信服务号
2016年3月，阿尔法围棋（AlphaGo）与围棋世界冠军、职业九段棋手李世石进行人机大战，最终AlphaGo以4︰1的总比分获胜，这个事件引起社会的高度关注，也把人工智能再一次推向话题顶峰。我们也可以从日常活动中感受到人工智能已经真正进入了我们的生活。如近几年，扫码支付大大普及，而如今的刷脸支付已成为一种越来越受大家欢迎的新支付方式，这些变化几乎改变了我们的生活方式和习惯，而这些变化的背后是深度学习的崛起。
深度学习真的有传说中那么神奇吗？作为技术人员，我们应当如何去学习深度学习呢？深度学习真的很难掌握吗？接下来就让我们通过本书来揭开深度学习的神秘面纱，我们将会使用PaddlePaddle深度学习框架带领大家进入深度学习领域，使大家成为人工智能领域的开发者。
PaddlePaddle，又名飞桨，前身是百度公司于2013年自主研发的深度学习框架，在2016年9月的百度世界大会上，当时的百度公司首席科学家吴恩达首次宣布开源PaddlePaddle深度学习框架。PaddlePaddle也是我国首款深度学习开源框架。作为国内的开源深度学习框架，PaddlePaddle的开发文档全面支持中文，这对国内开发者非常友好，并且百度公司经常会在全国各个地区举办PaddlePaddle的公开课，让开发者有机会面对面地与PaddlePaddle工程师交流，这样的机会，是其他国外深度学习框架很难给予的。
深度学习已经深入我们生活的方方面面，有不少的App可以使用人脸识别登录，人脸识别登录就使用了人脸检测、人脸特征对比等多项深度学习技术。在没有深度学习框架之前，要搭建一个深度神经网络模型的工作量是非常大的，既要考虑网络模型的实现，还要考虑底层代码的实现，更要考虑硬件设备的适配。但是有了PaddlePaddle深度学习框架之后，搭建深度神经网络模型就变得非常简单，在深度学习中常使用的深度学习框架都有提供，如卷积层、池化层、循环神经网络模型，以及各种优化方法和损失函数等，还有各种自定义的算子供开发者使用。有了PaddlePaddle深度学习框架后，研究人员和项目开发者不需要考虑底层实现的问题，可以把更多的精力放在搭建项目所需的深度学习模型，以及如何提高模型的准确率上。
那什么时候需要使用PaddlePaddle，又应当如何使用PaddlePaddle呢？如笔者的项目现在需要实现一个植物识别功能，用户可通过手机上的App识别所拍摄到的植物的名称，并给出该植物的百科信息。要实现这个功能，首先我们需要收集植物图像数据，按照它们的名称设置标签并制作成一个植物数据集。然后使用PaddlePaddle搭建一个卷积神经网络模型，如ResNet、MobileNet等。最后使用植物数据集训练该模型。训练结束之后会得到一个预测模型，这个预测模型就可以预测并输出图片中植物的名称，通过植物名称即可查找并显示该植物的百科信息。这个预测模型可以部署在服务器上，或者是移动App上。这样就可以轻松实现一个植物百科应用。PaddlePaddle还可以实现很多使用深度神经网络模型的功能，如翻译软件中的中英文互译、输入法中的语音输入等。利用PaddlePaddle深度学习框架，可以使我们的应用或者设备变得更加“聪明”，让人工智能真正进入我们的生活中。
在学习本书之前，读者应该有一定的Python基础，本书使用的Python语法难度虽然不大，但读者有一定的Python基础可以更快速地理解PaddlePaddle的用法，特别是列表的使用。本书的每一章都提供了完整的源码，同时也开源到GitHub上，读者在学习各章时，最好要上机练习，正所谓“耳闻之不如目见之，目见之不如足践之”。在自定义数据集相关章节中，读者可以使用网络上公开的数据集或者自行制作数据集进行模型训练。在训练模型过程中，不管是使用PaddlePaddle还是自定义数据集，都可以尝试使用多种深度神经网络模型、优化方法，尝试提高模型的准确率，不要仅限于本书所提供的模型。
在学习过程中也可以寻找一些实战项目，如可以参加一些竞赛平台的比赛。在AI Studio平台或者和鲸平台上经常会有一些比赛，如图像识别、自然语言处理等，可以在比赛过程中掌握PaddlePaddle的使用方法，掌握网络模型的优化方法。同时大多数的比赛都有奖金，一些入门级的比赛难度并不大，在学习的同时获得一些奖励，一举两得，岂不美哉？
本书的源码地址如下：第1章源码存放在course1目录下，第2章源码存放在course2目录下，之后各章以此类推。源码获取方式请见文前对于电子资源的介绍。
本章主要介绍PaddlePaddle开发环境搭建，本章所需操作系统和软件如下。
PaddlePaddle的开发环境可以在在线平台或者本地计算机搭建，笔者是在64位的Windows 10专业版操作系统上搭建的。如果读者不想在本地搭建PaddlePaddle开发环境，可以直接阅读1.6节的AI Studio平台的使用。PaddlePaddle在Windows操作系统上支持Python 2.7、Python 3.5、Python 3.6以及Python 3.7，读者可以根据自己的实际情况安装自己喜欢的版本，本书使用的是Python 3.7。下面我们就开始介绍如何安装Python。
（1）首先需要下载Python的安装包，从Python官网下载Python 3.7的安装包，读者也可以在Python官网下载其他版本的安装包。
（2）双击运行已经下载的Python 3.7安装包开始安装。安装之前需要勾选“Add Python 3.7 to PATH”，把Python的安装路径添加到系统环境变量中，这个操作是为了方便之后使用Python命令和pip命令，否则每次执行这两个命令都需要进入对应的文件夹中。然后点击“Customize installation”开始自定义安装即可。Python安装界面如图1-1所示。
图1-1 Python安装界面
（3）选择自定义安装是为了选择自己的安装路径，本次选择安装在C盘根目录下的Python37目录中，其他的设置都不要修改。选择安装路径如图1-2所示。
图1-2 选择安装路径
（4）安装完成之后，我们需要测试Python是否已经安装成功。打开Windows PowerShell或者命令提示符窗口，Windows 10操作系统自带Windows操作PowerShell，如果读者使用的是其他Windows版本，则可以使用命令提示符窗口进行操作。用命令python -V查看Python是否安装成功，如果安装成功，控制台会输出已经成功安装的Python版本信息。到目前为止，Windows操作系统下安装Python就已经完成了，Python安装结果如图1-3所示。
图1-3 Python安装结果
接下来将同时介绍在Windows操作系统和Ubuntu操作系统下安装PaddlePaddle的方法，在Windows操作系统下安装PaddlePaddle前，需要按上面的步骤安装Python。
PaddlePaddle在1.2版本之后开始支持Windows操作系统，所以在Windows操作系统下安装PaddlePaddle是非常简单的，直接执行pip命令就可以完成安装。
最简单的安装命令如下。
pip3 install paddlepaddlePaddlePaddle版本升级：以上命令自动安装最新的PaddlePaddle版本，如果之前有安装过PaddlePaddle，但版本过低，想要升级最新的PaddlePaddle版本，可以使用下面的命令。
pip3 install paddlepaddle -U指定PaddlePaddle版本：如果我们在开发过程中需要指定PaddlePaddle版本，那么我们也可以通过双等于号安装指定版本的PaddlePaddle，安装的命令如下。
pip3 install paddlepaddle==2.0.0a0指定镜像源：使用以上的安装命令，有时安装速度会比较慢，因为没有指定国内的镜像源，下载依赖库是非常慢的。在这种情况下我们可以指定在安装过程中使用的镜像源，以下命令使用的就是国内的阿里镜像源。
pip3 install paddlepaddle==2.0.0a0 -i https://mirrors.aliyun.com/pypi/simple/安装GPU版本的PaddlePaddle：使用以上命令安装的PaddlePaddle是CPU版本的，如果需要使用GPU进行训练，那么需要安装GPU版本的PaddlePaddle。安装过程也很简单，只需要把命令中的paddlepaddle改为paddlepaddle-gpu即可安装GPU版本的PaddlePaddle。在安装GPU版本的PaddlePaddle之前，还需要安装CUDA 10.0和cuDNN 7，否则不能够使用GPU版本的PaddlePaddle。在2.0.0a0版本中，在Windows操作系统安装PaddlePaddle仅支持CUDA 9.0/10.0的单卡模式，不支持CUDA 9.1/9.2/10.1，这时需要使用cuDNN 7.6以上版本。
pip3 install paddlepaddle-gpu==2.0.0a0卸载PaddlePaddle：如果不需要使用PaddlePaddle，也可以使用pip命令卸载PaddlePaddle，卸载CPU版本的PaddlePaddle命令如下。
pip3 uninstall paddlepaddle如果安装的是GPU版本，卸载的命令如下。
pip3 uninstall paddlepaddle-gpu本书的PaddlePaddle是在Windows操作系统下安装的，但是为了方便使用Ubuntu操作系统的读者进行学习，这里增加了在Ubuntu操作系统下安装PaddlePaddle的教程。以Ubuntu 16.04操作系统为例，Ubuntu 16.04操作系统本身已经安装了Python 3.5，所以我们不需要再次安装Python，可以直接使用pip命令安装PaddlePaddle。
安装CPU版本：打开Ubuntu操作系统的终端，使用的快捷键是“Ctrl+Alt+T”，输入以下命令，安装CPU版本的PaddlePaddle并指定安装版本号。
pip3 install paddlepaddle==2.0.0a0安装GPU版本：安装GPU版本的PaddlePaddle之前，要先安装CUDA和cuDNN。在安装PaddlePaddle的时候需要注意，不同的Ubuntu操作系统版本所支持的CUDA版本也不全相同，如Ubuntu 14.04操作系统支持CUDA 10.0/10.1，不支持CUDA 9.0/9.1/9.2；Ubuntu 16.04操作系统支持CUDA 9.0/9.1/9.2/10.0/10.1，Ubuntu 18.04操作系统支持CUDA 10.0/10.1，不支持CUDA 9.0/9.1/9.2。
pip3 install paddlepaddle-gpu==2.0.0a0工欲善其事，必先利其器。在正式使用PaddlePaddle之前，需要安装一款简单易用的开发工具。如果选择在本地开发的话，笔者建议使用PyCharm，PyCharm是目前较为流行的Python开发工具之一。请在PyCharm的官网下载安装包。
打开PyCharm下载页面就可以选择下载PyCharm，这里有两种版本：第一种是专业版（Professional），这个版本功能比社区版要强大很多，但是这个版本是收费的，只有30天的免费使用期限；第二种就是社区版（Community），这个版本是开源免费的，本书使用的PyCharm就是社区版。PyCharm下载页面如图1-4所示。
图1-4 PyCharm下载页面
下载安装包完成之后，直接双击运行安装包开始安装，安装过程一直选择默认选项即可。安装完成之后启动PyCharm创建新项目，点击“Create New Project”创建一个新项目，PyCharm启动界面如图1-5所示，创建项目界面如图1-6所示。
图1-5 PyCharm启动界面
图1-6 创建项目界面
进入创建项目界面，首先选择项目的路径和名称，然后选择Python环境。可以创建一个Python的虚拟环境，使用虚拟环境对以后的开发是比较有好处的，因为每个虚拟环境都是独立的，这样以后每个项目都拥有一个独立的Python环境，就不会因为环境的不同导致项目错误。如果读者不了解虚拟环境也没有关系，本书使用的是Windows操作系统下的Python环境，操作起来简单清晰，方便学习。在选择Python环境时选“Existing interpreter”即可。
找到我们安装Python目录下的python.exe即可选择本项目使用的Python环境如图1-7所示。
图1-7 选择本项目使用的Python环境
我们创建一个Python文件，命名为test_paddle.py，在该文件中编写以下两行代码，并执行。
import paddle.fluid
paddle.fluid.install_check.run_check()执行方式是在编辑区点击鼠标右键，然后选择Run‘test_paddle’接口运行该代码，当然也可以使用快捷键“Ctrl+Shift+F10”执行。如果正常输出以下信息，那证明PaddlePaddle已经成功安装，就可以开始你的深度学习之旅了。
Running Verify Fluid Program ...
Your Paddle Fluid is installed successfully! Let's start deep Learning
with Paddle Fluid now如果读者不想在本地搭建PaddlePaddle开发环境，那么AI Studio平台是一个不错的选择。AI Studio平台是基于PaddlePaddle的一站式AI在线开发平台，提供在线编程环境、GPU算力、海量开源算法和开放数据，帮助开发者快速创建和部署模型。没有GPU的读者可以考虑选择这个平台，它可提供GPU算力。在编写本书过程中，为了照顾没有GPU的读者，我们尽量使用CPU进行训练。如果使用这个在线平台，读者可以把全部项目都设置为使用GPU训练。
在AI Studio平台注册并登录之后，点击导航栏上的“项目”，进入项目页面。在项目页面点击右侧的“创建项目”按钮，开始创建我们的PaddlePaddle项目。项目和创建项目如图1-8所示。
图1-8 项目和创建项目
点击创建项目按钮之后，首先要选择Notebook作为我们的编辑器，选择的预加载项目框架为PaddlePaddle 1.8.4。在编写本书时，最新的预加载项目框架只有PaddlePaddle 1.8.4版本，如果想使用最新的PaddlePaddle，可以在创建项目之后，按照前文介绍的安装教程进行安装。项目环境可以选择Python 3.7，最后写上项目名称、项目标签和项目介绍，在这个页面可以选择挂载数据集，但本书中并不需要。最后单击“创建”按钮创建项目。项目环境配置如图1-9所示。
图1-9 项目环境配置
创建项目后，会自动跳转到项目页面，我们点击“运行”按钮启动项目。在启动项目时，需要选择运行环境，如图1-10所示，AI Studio平台提供了基础版和高级版两种运行环境，其中高级版是提供GPU算力的，只要我们每天运行项目就会获得12小时的GPU免费使用时长。
图1-10 选择运行环境
成功启动项目之后，项目页面的左侧是项目的环境信息，包括项目的文件夹、挂载的数据集、环境以及设置。从硬件信息中，我们可以看到AI Studio平台为这个项目分配的资源，这个配置是非常高的。AI Studio平台提供了终端，可以使用终端重新安装所需的PaddlePaddle版本以及其他一些依赖库。在项目页面的右侧就是代码编写区域，我们可以在该区域编写本书的代码。项目页面如图1-11所示。
图1-11 项目页面
在Notebook代码编写区域，我们把第2章的代码放在这里测试一下，如图1-12所示。每一个代码单元都可以有一行或者多行代码，最后点击带有两个三角形的按钮运行全部代码，即可运行项目。在编写代码的时候需要注意如何导入包，笔者建议在导入包之后，就运行该段代码，这样在后面的代码编写过程中就可以将该包的代码补全。
图1-12 Notebook代码编写区域
AI Studio平台为每个项目都提供了终端，如果读者不熟悉Notebook的编写方式或者项目都是多文件的，这时可以使用终端运行代码，这里使用的终端与使用Ubuntu操作系统的终端是一样的。如使用AI Studio平台上的终端复制本项目的代码，如图1-13所示。
图1-13 使用AI Studio平台上的终端复制本项目的代码
然后切换到该项目的第2章代码，使用python命令运行代码，如图1-14所示，可以看到成功运行并输出结果。
图1-14 运行代码
到这里，PaddlePaddle的安装已经介绍完了，让我们开启深度学习之旅吧。本书将会一步步介绍如何使用PaddlePaddle，并将PaddlePaddle应用到实际项目中。
