详情
本书主要介绍了Pig的主要概念，并详细介绍了如何使用Pig Latin语言，为复杂的海量数据并行计算提供了一个简单的操作和编程接口。
书名：Pig编程指南
ISBN：978-7-115-30111-6
本书由人民邮电出版社发行数字版。版权所有，侵权必究。
您购买的人民邮电出版社电子书仅供您个人使用，未经授权，不得以任何方式复制和传播本书内容。
我们愿意相信读者具有这样的良知和觉悟，与我们共同保护知识产权。
如果购买者有侵权行为，我们可能对该用户实施包括但不限于关闭该帐号等维权措施，并可能追究法律责任。
• 著 [美] Alan Gates
译 曹 坤
责任编辑 汪 振
• 人民邮电出版社出版发行 北京市丰台区成寿寺路11号
邮编 100164 电子邮件 315@ptpress.com.cn
• 读者服务热线：(010)81055410
反盗版热线：(010)81055315
Copyright©2011 by O’Reilly Media, Inc.
Simplified Chinese Edition, jointly published by O’Reilly Media, Inc. and Posts & Telecom Press, 2011. Authorized translation of the English edition, 2011 O’Reilly Media, Inc., the owner of all rights to publish and sell the same.
All rights reserved including the rights of reproduction in whole or in part in any form.
本书中文简体版由O’Reilly Media, Inc.授权人民邮电出版社出版。未经出版者书面许可，对本书的任何部分不得以任何方式复制或抄袭。
版权所有，侵权必究。
本书不仅为初学者讲解Apache Pig的基础知识，同时也向有一定使用经验的高级用户介绍更加综合全面的Pig重要特性，如PigLatin脚本语言、控制台shell交互命令以及用于对Pig进行拓展的用户自定义函数（UDF）等。当读者有大数据处理需求时，本书提供了如何更高效地使用Pig来完成需求的方法。
本书适合各个层次的Pig用户及开发人员阅读使用。
谨以此书献给我的妻子Barbara，以及我的儿子Adam和Joel。
他们给予我支持和鼓励，并允许我占用许多个周末的时间投入写作，才使得本书最终成为可能。
数据是可以令人上瘾的。在过去数十年里我们收集和存储数据的能力已经大幅度提高。然而我们对于获取更多数据的欲望依旧没有得到满足。科学家们希望能够存储更多的数据以建立可以用来描述这个世界的更好的数学模型。市场营销者想通过数据了解他们的客户的意愿和消费习惯。金融分析师想通过数据更好地了解他们的市场运作情况。还有每个人都想保留各自的数码照片、电影、电子邮件等。
计算机和互联网的多次革命大大提高了我们收集和存储数据的能力。在这些革命之前，美国国会图书馆是世界上数据收集量最大的机构之一。曾经估算过它的印刷类书籍刊物包含的信息量大约能达到10TB。如今大型互联网公司一天的数据量就可以达到这么多。同时并非只有网络程序正以惊人的速率产生着数据。例如,计划在智利建造的大口径全景巡天望远镜（LSST）预计将会每天产生20TB的数据。
导致数据这种海量增长的部分原因是我们具有收集更多数据的能力。每当用户在网站上点击网页，Web服务器就会记录下该用户目前停留在哪个页面以及点击了哪些链接这样的信息。高速公路上每当一辆车驶过传感器的时候，车的行驶速度就会被记录下来。但是数据能够如此海量增长的更多原因是我们具备了海量数据存储的能力。十年前，望远镜每天晚上都会对星空拍摄很多的照片，但是这些照片并非全部都能以同一级别的分辨率存储，一些数据信息会被丢弃，因为根本没有足够的空间来存储它们。但是LSST正式运作后，这将不再是个问题。收集和存储海量数据的能力只是满足了我们的数据癖好。
在过去几十年里计算机系统中通常使用的数据存储和数据处理的工具之一就是关系型数据库管理系统（RDBMS）。但是随着数据集的不断增大，只有更高级的（也因此更加昂贵的）关系型数据库管理系统才能够达到目前很多用户所期望的标准。同时，许多涉及处理数据的工程师和科学家们意识到他们并不需要RDBMS提供的每一项功能。这些系统确实很强大而且功能很多，但是许多需要处理TB或者PB级别数据的用户只需要使用其中的一小部分功能。
RDBMS的高成本和非必需的功能导致了一些非主流的数据处理系统的出现，Apache Hadoop就是这些非主流的系统之一。Hadoop是由Doug Cutting 发起的一个开源项目。它是基于Google发表的多篇论文而实现的，这些论文描述了Google的工程师们是如何对他们收集的海量数据进行存储和处理的。在过去的几年，雅虎和其他一些互联网公司共同推动了Hadoop的发展。如果想了解Hadoop的发展历史，请阅读Tom White(O’Reilly出版社出版)所著的 《Hadoop: 编程指南》一书。Hadoop需要被部署到集群机器中，它可以提供一种利用集群力量进行存储和处理的方法。
像Hadoop这样的新型数据处理系统的发展促使了已经存在的工具和语言对Hadoop的移植，以及新工具（如Apache Pig）的构造。像Pig这样的工具为数据使用者提供了一种较高层次的抽象，为使用者提供了一种可以使用到Hadoop强大的处理能力和灵活性的方式，而并不需要他们用低层Java代码来编写大量的数据处理程序。
这本书是为Pig开发者准备的，无论是新手还是具有一定经验的开发者。之前从没有接触过Pig的人会在书中发现一些有用的入门性介绍，包括如何运行Pig以及怎么开始书写Pig Latin脚本。对于经验丰富的Pig使用者，这本书介绍了Pig几乎所有的功能：它可以从使用哪些不同的模式运行，Pig Latin语言的详细介绍，以及如何在Pig中开发用户自定义函数（UDF）。甚至对于那些使用Pig很久的用户也可能会在这本书里发现之前他们从未使用过的功能。
作为一个相对年轻的项目，在过去的4年里Pig有了相当大的变化和成长。在这段时间里，我们从发布0.1版本一直到发布0.9版本。本书是以Pig 0.7版本为基础展开的。对于0.8或0.9版本中特有的功能，书中在介绍的时候会进行说明。0.6版本到0.7版本的最大不同是对加载函数接口和存储函数接口这两个接口进行了重写，因此第11章的内容对于使用0.6或更低版本的用户是不适用的。当然,本书其他章节对于较早版本同样适用。
对于读者和Pig使用者来说，如果对Hadoop有所了解，那么阅读本书是有帮助的。附录B对Hadoop进行了简要的介绍而且说明了它是如何工作的。第1.1.1小节“Pig是基于Hadoop的”提供了一个简单的Hadoop任务的例子。对于那些不熟悉Hadoop的用户,这几节介绍的内容将会有很大帮助。
本书中有几部分用到了Java、Python和SQL的程序片段。使用Pig并非要求一定要了解这些语言，但是对于Pig的一些高级功能还是需要对Python和Java有所了解。有使用SQL背景的读者可以在1.1.2小节下面的“查询语言和数据流语言的比较”这一小节看到Pig Latin和SQL的相似和不同之处。
本书中使用到了如下几种印刷体：
表明是新的术语、URL、电子邮件地址、文件名以及文件扩展名。
用于程序列表，以及段落中使用到的程序片段，例如变量或者函数名称、数据库、数据类型、环境变量、语句和关键字。
表示命令或者其他需要用户进行输入的文本。
表示该文本需要用户提供对应的值替换或者需要通过上下文才能获取到的值。
提示
这个图标表明是一个小技巧、建议或者一般性的注释。
警告
这个图标表明是个警告或者警示。
本书中使用到的样例脚本、用户自定义函数（UDF）和数据集大多可以从我的GitHub资源库中下载。资源库中也包含了一些README文档，这些文档可以指导用户如何编译UDF并且帮助用户理解数据文件中的内容。文本中的每一个可以在GitHub中获取到的样例脚本，在开始的时候注释内容中都包含了文件名。Pig Latin样例脚本和Python样例脚本在examples目录下按章分类存放。用户自定义函数（UDF），包括使用Java编写的和使用Python编写的都放在另外一个目录udfs下。所有的数据集都放在data目录下。
为简明起见，每一个脚本都假定输入和输出都是本地文件目录。因此，当使用本地模式运行时，用户应该在需要输入的数据文件所在的目录下执行Pig脚本。而当在集群上运行时，用户需要将输入的数据文件放置在集群文件系统的用户根目录下。
本书提供的样例脚本都是在Pig 0.8.0版本或0.8.1版本下测试通过的，当然除了一些使用到0.9版本中新增功能的脚本，这些脚本是在0.9分支版本下测试通过的，因为在写本书的时候Pig还没正式发布0.9版本（译者注：Pig 0.9.2发行版对于这些新增功能也是适用的）。
样例中所使用的3个数据集虽然都相当小，但它们都是真实的数据集。文件名为baseball的文件包含的是棒球运动员的统计信息。第二个数据集是纽约股票交易数据，有两个文件，文件名分别是：NYSE_daily和NYSE_dividends。这份数据被简化为只包含2009年以后股票代码以C开头的数据信息，这是为了使数据量足够小以方便用户下载。当然，数据的模式并没有改变。如果用户想下载完整的数据集然后把它放到集群中（只需要几个节点就可以），那将是一个对Pig和Hadoop更加逼真的演示。在README文件中有如何下载这些数据集的说明。第三个数据集是从Pig官网的网页抓取的简单爬虫信息。
使用代码样例
本书的目的是帮助用户完成他们的任务。通常情况下，用户可以在自己的程序和文档中使用书中的代码。这时不需要联系我们以获取许可，除非有明显复制了代码的大部分内容的时候。例如，写程序用到了本书中几个代码片段是不需要获得许可的，但是如果销售或者传播包含了O’Reilly系列书籍中的例子的CD光盘，那么就一定要获得我们的许可才行。在回答问题时引用到本书或以本书中的例子为引证时不需要获得许可。合并书中大量样例代码到用户的产品文档中时一定需要获得我们的许可才行。
虽然并非是必需的，但如果可以注明出处，我们将十分感激。出处一般包括书名、作者、出版商和ISBN。例如：“Programming Pig by Alan Gates (O’Reilly).Copyright 2011 Yahoo!, Inc., 978-1-449-30264-1.”
如果读者感觉到没有合理地或者在如上所述的许可范围内使用本书中代码样例的话，请尽管通过 permissions@oreilly.com联系我们。
Safari图书在线是一个按需服务的数字图书馆。使用它用户可以轻松地通过检索超过7,500本技术和创意参考书以及视频教程从而快速获得用户想知道的答案。
通过订阅，用户可以从我们的在线图书馆中阅读每一篇文章和观看每一段视频，还可以通过手机和其他移动设备看书。在书还没有印刷前就可以事先看到书目，还可以独享看到正在进行中的书籍草稿并将意见反馈给作者。复制粘贴代码样例，组织用户的收藏夹，下载一些章节，对关键章节做标记，创建笔记，打印书籍内容，还有可以因其他众多的省时功能而受益。
O’Reilly Media已经将本书上传到 Safari图书在线服务了。想获得对这本书的完整数据版访问权限以及来源于O’Reilly和其他出版商的对相同话题的讨论，请通过网址http://my.safaribooksonline.com免费注册账户。
请将对于本书的评论和问题通过如下联系方式发送给出版商：
O’Reilly Media, Inc.
1005 Gravenstein Highway North
Sebastopol, CA 95472
800-998-9938 (in the United States or Canada)
707-829-0515 (international or local)
707-829-0104 (fax)
本书有一个Web页面，在此页面上我们列举了勘误表、例子和其他附加信息。用户可以通过如下链接访问这个页面：
http://shop.oreilly.com/product/0636920018087.do
可以通过如下E-mail地址将你对本书的评论或一些技术方面的问题发送给我们：
bookquestions@oreilly.com
想获得更多的关于我们的系列书籍、会议、资源中心和O’Reilly网络的信息，请通过如下网站查看：
一本书就像一支职业橄榄球队，大部分的荣耀都给了四分卫或跑卫。但是如果这个队防线很差，那么四分卫就不会有机会将球扔出去。接球员必须有能力接住球，防卫必须有能力阻止其他队得分。简而言之，整个队伍必须通力合作才能取胜。在这些背后在场地上还有一批教练、训练员以及准备和引导整个队伍的经理。这本书的形式也是同样的道理。书的封面上写的是我的名字，但是如果没有这群由开发者、研究者、测试者、文档书写者以及对Pig项目有贡献的人组成的了不起的团队，那将没什么有价值的信息来写成本书。
特别地，我想感谢Pig开发贡献者和使用者对于本书的贡献和反馈。Chris Olston、Ben Reed、Richard Ding、Olga Natkovitch、Thejas Nair、Daniel Dai和Dmitriy Ryaboy对本书一遍又一遍的草稿都提供了非常有帮助的反馈。Julien Le Dem提供了在Python中嵌入使用Pig的代码样例。Jeremy Hanna书写了Pig和Cassandra那个章节。她的反馈使本书的讲解更加清楚和正确。
还要感谢 Tom White在我下定决心写这本书时对我的鼓励，以及对于写这本书所需要的时间和努力所给予的理性的提醒。Hadoop项目的Chris Douglas在涉及Hadoop和MapReduce的章节给了我非常有帮助的反馈。
我还想感谢Mike Loukides和在O’Reilly的整个团队。他们让我觉得在写第一本书时是一段快乐的和令人愉悦的经历。最后，感谢Yahoo!培育了Pig以及投入了超过25个工程年（同时还在增加）的努力，同时让我有时间来写这本书。
Pig提供了一个基于Hadoop的并行地执行数据流处理的引擎。它包含了一种脚本语言，称为Pig Latin，用来描述这些数据流。Pig Latin本身提供了许多传统的数据操作（如join、sort、filter等），同时允许用户自己开发一些自定义函数用来读取、处理和写数据。
Pig是一个Apache开源项目。这意味着用户可以免费下载源码或者二进制包，自由使用它，对这个项目贡献自己的代码，同时也可以在Apache License的许可范围下将Pig用到自己的产品中或者在需要的时候修改代码来满足特定需求。
Pig运行于Hadoop之上，它同时使用到Hadoop分布式文件系统HDFS和Hadoop处理系统MapReduce。
HDFS是一个分布式文件系统，它将文件存储到Hadoop集群的各个节点上。它负责将文件分割成许多数据块然后分发到不同的节点机器上，其中包括对每个数据块进行多份冗余备份，这样可以避免因为某台机器宕掉而造成数据丢失。HDFS提供了一种类似POSIX的用户交互形式给用户。默认情况下，Pig从HDFS中读取输入文件，使用HDFS来存放MapReduce任务所生成的中间数据，最终将输出写入HDFS中。在第11章，用户将看到Pig不只是可以从HDFS中读取输入文件或将输出文件写入HDFS的。
MapReduce是一个简单而强大的并行数据处理算法。MapReduce计算框架下的每个任务都由3个主要阶段组成：map阶段、shuffle阶段和reduce阶段。在map阶段，程序可以并行独立操作输入数据中的每一条记录。因为可以同时运行多个map任务，所以即使输入的数据量达到GB或者TB级别，只要有足够多的机器，map阶段通常在1分钟内就可以完成。
MapReduce任务的一个特别之处在于需要确定数据是根据哪个键进行收集的。例如，假设用户在处理一个网站的Web服务器日志，而且这个网站需要用户登录后才能操作，那么用户就可能会使用用户ID作为数据收集的键，因为通过这个用户ID就可以知道每个用户在这个网站上的对应的所有操作。map阶段后紧跟着就是shuffle阶段，在这个阶段数据已经根据用户指定的键收集起来并且分发到不同的机器上去了，这是为reduce阶段做准备。包含同一键的所有记录将会交由同一个reducer处理。
在reduce阶段，程序将提取每个键以及包含该键的所有记录。这个过程也是在多台机器上并行执行完成的。当处理完所有组时，reducer就可以写输出了。下面我们将通过一个简单的MapReduce程序进行演示。想更多地了解MapReduce是如何工作的，请看附录B“MapReduce介绍”。
MapReduce演示程序
假设现在有一个MapReduce程序对一个文本文件进行词频统计。该程序本身是MapReduce提供的演示程序。在这个例子中，map阶段会从文本文件中一次读取一行，然后分割出每个词作为一个字符串，之后对于分割出的每个单词，会输出单词本身以及数字1，数字1表示这个单词出现过1次。在shuffle阶段，将使用单词作为键，哈希分发对应的记录到不同的reducer中去。在reduce 阶段会将相同的单词对应的出现次数相加，并最终将求和后的数值和单词本身一起输出。以童谣“Mary Had a Little Lamb”为例，输入将是：
Mary had a little lamb
its fleece was white as snow
and everywhere that Mary went
the lamb was sure to go.这里假设每一行都被发送到不同的map任务中去了。当然事实上，每个map任务处理的数据要远远大于这个数量，这里只是为了后面更好地去描述。MapReduce整个过程的数据流如图1-1所示。
map阶段一旦结束，shuffle阶段将会把包含相同单词的所有记录提交到同一个reducer中。对于这个例子我们假设有两个reducer:以A～L开头的单词提交到第一个reducer中，而以M～Z开头的单词提交到第二个reducer中。这两个reducer最终将会把每个单词的出现次数分别相加然后输出。
Pig的所有数据处理过程都是使用MapReduce来执行的。Pig将用户所写的Pig Latin脚本编译成一个或者多个MapReduce任务，然后在Hadoop上执行。例子1-1展示了如何使用Pig Latin脚本来对童谣“Mary Had a Little Lamb”进行词频统计。
图1-1 MapReduce执行过程图解
例1-1 使用Pig对童谣“Mary和她的羔羊”进行词频统计
--加载文件名为Mary的文件，
--并将记录中的唯一字段命名为‘line’。
input = load 'mary' as (line);
--TOKENIZE将line按单词分割成列
--flatten 接受TOKENIZE 操作后产生的记录集合然后分开成独立的列，
-- 这个独立的列称为word
words = foreach input generate flatten(TOKENIZE(line)) as word;
-- 现在按照word进行分组
grpd = group words by word;
-- 计数
cntd = foreach grpd gengerate group, COUNT(words);
-- 打印结果
dump cntd;在使用Pig时无须去过度关注map、shuffle和reduce阶段，因为Pig会将脚本中的操作解析成相应的MapReduce阶段。
Pig Latin是一种数据流语言，这意味着它允许用户去描述如何从一个或多个数据源并行读取数据，然后并行地进行处理，最后将处理结果并行地输出到一个或多个结果集中。这些数据流可以像前面提到的那个词频统计例子一样是个简单的线性流。同时它们也可以是复杂的工作流，其中可以包含一些加入多个输入的节点，也可以包含一些将输入数据分割成多个流的节点，这些节点都是通过不同的操作符来处理的。用数学语言来描述的话，Pig Latin 描述的是一个有向无环图（DAG），在这个图中，节点代表处理数据的操作符，节点间的向量代表数据流。
这意味着Pig Latin和用户之前见过的许多编程语言会有所不同。在Pig Latin中没有if语句，也没有for循环操作。这是因为传统的过程语言和面向对象语言描述的是控制流，而数据流只处于一个从属地位。而Pig Latin更专注于数据流。想了解Pig Latin脚本中如何在处理数据流的同时加入控制流，请阅读第9章。
查询语言和数据流语言的比较
大体一瞥，人们会说Pig Latin不过是SQL的一个面向过程化的版本。尽管确实有一定的相似性，但是其实两者具有非常多的差异。SQL是一种查询语言，它关注于允许用户构造查询，它允许用户去描述他们想得到什么问题的答案，而不是如何给出问题的答案。然而在Pig Latin中，用户可以详细描述如何对输入的数据进行处理。
Pig Latin和SQL的另一个主要区别是SQL面向的是回答一个问题，因此当用户想同时进行多个数据操作时，他们要么使用多个查询语句，这时需要将一些查询的中间数据存放到临时表中；要么写一个大的包含子查询的查询语句，将一些初始的处理过程由子查询来完成。然而，很多用户发现子查询令人困惑而且也并非那么容易去构建。同时，子查询使用的是由内而外的设计，也就是说，在数据管道最里面的子查询会最先执行。
Pig被设计为实现知道将要进行的一系列的数据操作，因此不需要通过颠倒顺序的子查询的方式来写数据管道，也无需使用临时表来存放中间数据。这点将通过例子1-2和例子1-3来进行演示。
现在假设有个用户想先按某个键对表进行group分组操作，然后和第二张表进行join连接操作。在SQL查询中，因为join操作发生在group操作之后，所以要么使用子查询，要么写两个查询语句，同时将中间结果保存到临时表中。例子1-3用到了一个临时表，因为这样可读性要好些。
例1-2 SQL中先进行分组然后进行连接操作
CREATE TEMP TABLE t1 AS
SELECT customer, sum(purchase) AS total_purchases
FROM transactions
GROUP BY customer;
SELECT customer, total_purchases, zipcode
FROM t1, customer_profile
WHERE t1.customer = customer_profile.customer;在Pig Latin中，是另外一种方式，如例1-3所示。
例1-3 Pig Latin中先进行分组然后进行连接操作
-- 加载汇报文件，按照customer字段进行分组，然后计算他们的总购物金额
txns = load 'transactions' as (customer, purchase);
grouped = group txnx by customer;
total = foreach grouped generate group, SUM(txns.purchase) as tp;
-- 加载 customer_profile 文件
profile = load 'customer_profile'as (customer, zipcode);
-- 对已经分好组并进行了累加计算的汇报文件数据和customer_profile文件进行连接
answer = join total by group, profile by customer;
-- 将结果输出到控制台
dump answer;此外，SQL和Pig Latin各因不同的应用场景而生。SQL的应用场景是RDBMS，在这种场景下，数据是标准化的，并且加上了模式和其他一些特有的约束（例如，null值也是不可以脱离约束单独存在的等）。Pig是为Hadoop数据处理环境而设计的，在这种环境下，模式有时是未知的或不一致的，数据可能没有进行恰当的约束而且很少进行数据标准化。基于这些不同，Pig不需要将数据事先导入表中，当数据导入HDFS中后，它就可以直接操作这些存放在HDFS的数据。
如果语言和文化类似，那么融入一个新的环境可能会更加容易些。我和妻子一起去过法国几次。我会讲很少的法语，但是因为是商业语言（或许是因为美国人和大不列颠人喜欢到法国度假），对于我来说法语中已经包含了足够多的英语口语，使我足够应付得了。而我的妻子，她会讲法语。她在法国有朋友去拜访时，她可以和他们很好地交谈。她可以去那些不在通常的旅游线路上的其他景区探险。她的法国经历比我要多得多，因为她会讲当地本土语言——法语。
在数据处理范畴里，SQL就是英语。它有个非常好的特点就是无论是人还是工具都认识它，也就是说它的入门门槛很低。我们的目标是使Pig成为像Hadoop这样的并行数据处理系统范畴里的母语。尽管这可能要求用户需要进行一定的学习才能使用，但是它可以让用户更加充分地利用Hadoop提供的计算能力。
Pig和MapReduce的区别是什么
我刚刚声明Pig团队的一个目标是使Pig Latin成为像Hadoop这样的并行数据处理环境的母语。但是难道MapReduce提供的还不够吗？有必要使用Pig吗？
Pig比直接使用MapReduce有几个优点。Pig Latin 提供了所有标准的数据处理操作，例如join、filter、group by、order by、union等。MapReduce直接提供了group by操作（也就是shuffle和reduce两个阶段做的事情），同时通过实现分组操作间接地提供了order by 操作。过滤器操作和推测执行操作可以在map阶段进行简单实现。但是其他的操作，特别是join操作无法提供，所以必须由用户自己进行代码实现。
Pig提供了一些对这些标准的数据操作的复杂的、完备的实现。例如，因为每个键对应的记录的个数很少是均匀地分布在集群中的，所以提交给reducer的数据经常会产生数据倾斜。也就是说，有的reducer需要比别的reducer处理10倍或更多倍的数据。Pig具有join和order by 操作可以处理这种情况，而且（在一些情况下）可以重新均衡reducer负荷。这些需要Pig团队花费好几个月的时间编写MapReduce程序，然后再重构代码，这确实耗费时间。
在MapReduce中，在map阶段和reduce阶段的内部的数据处理对于系统来说是不透明的。这意味着MapReduce没有机会优化或者检查用户的代码。Pig另一方面，可以通过分析Pig Latin脚本来了解用户描述的数据流。这意味着Pig可以在早期进行错误检查（例如用户是否将一个string类型的字段放到一个integer类型的字段中？）和进行优化（例如这两个group操作是否可以合并？）
MapReduce没有一个类型系统，这是有意这么设计的，因为这样可以给用户更大的自由度去使用他们自己的数据类型和序列化框架。但这样就产生了一个不好的问题，就是限制了系统在运行前和运行时对用户代码进行检查的能力。
这几个方面都表明Pig Latin相对于MapReduce Java代码更容易编写和维护。我做了一个并非科学的实验，对于同一个操作我分别使用Pig Latin和MapReduce进行实现。假设有个文件存有用户数据，另一文件存放了对于某个网站的点击数据，例子1-4所示的Pig Latin脚本将找到年龄为18～25岁的用户访问最多的5个页面。
例1-4 查找访问次数最多的前5个URL
Users = load 'users' as (name, age);
Fltrd = filter Users by age >= 18 and age <=25;
Pages = load 'pages' as (user, url);
Jnd = join Fltrd by name, Pages by user;
Grpd = group Jnd by url;
Smmd = foreach Grpd generate group, COUNT(Jnd) as clicks;
Srtd = order Smmd by clicks desc;
Top5 = limit Srtd 5;
store Top5 into 'top5sites';这段脚本的第1行表示加载文件名为users的文件，同时声明这份数据有两个字段：name和age，而且为这个输入取别名为Users。第2行是个过滤器，将Users中age这个字段值大于等于18而且小于等于25的记录过滤出来，不满足条件的数据将被忽略。经过过滤器后，留下的数据就是在我们感兴趣的年龄范围内的了。我们将这个过滤器的结果取别名为Fltrd。
第3行是第2个load加载数据语句，这个语句加载了文件Pages，并取别名为Pages，它声明了两个字段：user和url。
“Jnd = join”这一行以Fltrd.name和Pages.user为键，对Fltrd和Pages进行join连接操作。通过这次join操作我们就可以得到每个用户访问过的所有URL链接了。
“Grpd = group”这一行按照URL进行分组。结果是每一个url，例如pignews.com/frontpage，都对应着一组url字段中包含了对应值的所有记录。紧跟着的下一行会统计每个URL对应的记录个数。这一行后我们就知道了，对于每个URL，被年龄为18～25岁的用户访问了多少次。
之后的一件事就是按访问次数从访问最多到访问最少进行排序。“Srtd = order”这一行就是根据前一行的统计结果进行desc（降序）排列。因此，最大值将在第1行。因为最终我们只需要最前面的5条记录，所以最后一行将统计结果限制在前5行。最后的结果重新存放到HDFS中一个叫做top5sites的文件中。
在Pig Latin中整个处理过程需要写9行代码，耗时在15分钟左右，其中包括写代码和对代码进行调试的时间。如果以MapReduce（这里省略了）来写的话，需要差不多170行的代码而且花费了我4个小时的时间才调试成功。Pig Latin同样利于维护，因为这段代码，对于后来的其他开发者同样是容易理解和方便修改的。
当然Pig所带来的这些便利同样是有代价的。通过MapReduce框架可以开发一些算法，在Pig中却很难实现。同时对于开发者，他们需要放弃一个层次的控制权。一名优秀的工程师，只有给予足够的时间，总是可以将一个普通的系统做得足够好。因此对于不常见的算法或者是对于性能要求很高的话，这种情况下使用MapReduce仍然是正确的选择。基本上这种情况也和选择Java编码而不选择使用像Python这样的脚本语言的情形是一样的。Java功能强大，但是因为它是高级程序语言，所以使用它开发需要比脚本语言花费更多的时间。开发者需要根据实际情况选择合适的工具。
以我的经验，Pig Latin的使用场景可以分为独立的三大类：传统的抽取转换加载（ETL）数据流、原生数据研究和迭代处理。
最大的使用场景就是数据流了。一个通常的例子就是网络公司从他们的Web服务器上收集到日志，进行数据清洗，之后进行简单的聚合预计算，然后导入数据仓库中。在这种情况下，数据被加载到计算网格中，之后使用Pig从数据泥潭中清理出有价值的数据。同时还可以使用Pig将用户网页操作数据和用户数据库信息进行join连接，这样可以将用户cookie和已知的用户信息关联起来。
另外一个数据流应用的例子是使用Pig处理离线数据来建立用户行为预测模型。Pig被用来扫描所有的用户和网站的交互数据，最终将用户分为各种各样的群组。然后，对于每个群组会生成一个数学模型，根据该模型可以预知这个群组的用户对各种类型的广告或者新闻文章的反映是什么样子的。通过这种方式，网站可以知道展示什么样的广告可以更有可能获得更多的点击，或者发布什么样的新闻故事可以更有可能吸引用户和挽留用户再次访问。
传统上，使用像SQL这样的语言执行点对点的查询可以快速地为问题准备好相应的数据。然而，对于原始数据的研究，一些用户还是偏向使用Pig Latin脚本。因为Pig可以在无模式，模式信息不全，或者模式不一致的情况下进行操作，同时因为Pig可以很容易地控制封装的数据，因此对于那些期望在数据没有进行清洗也没有写入数据仓库的情况下，分析数据的研究人员经常更偏好于使用Pig。经常处理大规模数据集的研究人员经常会使用像Perl或者Python这样的脚本语言进行处理。具有这些使用背景的用户通常更喜欢使用Pig这样的数据流范式而非像SQL那样的声明式查询语言。
创建迭代处理模型的用户也开始使用Pig。假设有一个新闻门户网站，它保留了一个它跟踪的关于该网站的所有新闻故事的图。在这个图中每个新闻故事都是一个节点，节点间的连线表示的是相关故事间的关系。例如，所有关于即将来临的选举的故事都是联系到一起的。每5分钟都有一组新的故事进来，这时数据处理引擎需要将这组故事增加到图中。这些故事中有一些是新的，有一些是对之前的故事进行的更新，还有一些是替代之前已经存储的一些故事的。这时需要对整个故事图做一些数据处理步骤。例如，对于建立行为目的模型的处理过程就需要将用户数据和整个故事图进行连接。每5分钟重新运行整个图是不可行的，因为对于适当数量的硬件资源来说在5分钟内运行出结果是不可能的。但是模型创建者不想只是每天更新一次这些模型，因为那意味着会错过一整天的时间来提供机会。
为了应付这个问题，有必要定期地首先对整个图进行连接，例如可以按照天来进行连接。然后，每5分钟一旦有数据进来，就可以立即完成对新进来的数据进行连接操作，同时这个结果是可以和对整个图做连接的结果整合在一起的。这个组合步骤并不容易，因为需要在5分钟内完成对整个图进行插入、更新和删除操作。使用Pig Latin来表达这种组合关系是可以的并且是相当方便的。
目前所说的一切都隐含着一点：Pig（与MapReduce一样）是面向数据批处理的。如果需要处理的是GB或者TB数量级的数据，那么Pig是个不错的选择。但是因为它期望的是序列地读取一个文件中的所有记录然后序列地将输出写入存储中，因此对于那些需要写单条或者少量记录，或者查询随机序列下的多条不同记录这样的任务，Pig（与MapReduce一样）并非是个好选择。关于在这些情况下选用什么样的软件才是合理的更多讨论请查看第12.3节“NoSQL数据库”。
在早期，作为潜在贡献者加入Pig项目的人们并非了解这个项目究竟是关于什么的。他们并不清楚怎样做才是最好的贡献或者哪些贡献会被接受以及哪些不会被接受。因此，Pig团队发布了一个项目设计思想声明，其内容总结为Pig渴望成为：
Pig什么都吃
不管数据是否有元数据，Pig都可以操作。不管数据是关系型的、嵌套型的，或者是非结构化的，Pig也同样可以操作。而且它还可以很容易地通过扩展，不单单可以操作文件，还可以操作key/value型的存储，以及数据库等。
Pig无处不在
Pig期望成为一种并行数据处理语言。它不会局限于是一种特殊的并行处理框架。它首先是基于Hadoop之上的实现，但是我们期望它并非只能在Hadoop平台上使用。
Pig是家畜
Pig被设计为可以让用户很容易地控制和修改的语言。
Pig允许用户随时整合加入他们的代码，因此目前它支持用户自定义字段类型转换函数、用户自定义聚合方法函数和用户定义条件式函数。这些函数可以使用Java来写也可以使用最终可以编译成Java代码的脚本语言（例如Jython）编写。Pig支持用户定义的加载和存储函数。Pig通过自己的stream 命令和需要MapReduce相关的JAR包的mapreduce命令可以执行外部的执行命令。Pig同样允许用户为自己的特定使用场景提供一个用户自定义的分区方法函数，使他们执行的任务在reduce阶段可以达到一个均衡的负荷。
Pig有一个优化器，它可以将Pig Latin脚本中的操作过程进行重新排列以达到更好的性能，例如将MapReduce任务进行合并等。但是，如果对于某种情形下这种优化是不必要的话，用户可以很容易地将最优控制器关闭，这样执行过程就不会发生改变。
Pig会飞
Pig处理数据很快。我们会持续地优化性能，同时不会增加一些使Pig显得较重而降低性能的新功能。
Pig最初是作为Yahoo！的一个探索性的项目，Yahoo!的科学家们设计了Pig并且给出了一个原型实现。正如2008年发表在数据管理专业委员会（SIGMOD[1]}）杂志的一篇论文所描述的，研究者认为Hadoop所描述的MapReduce框架“过于底层和严格，需要用户花费大量时间编写代码，而且很难维护和重用。”同时他们注意到MapReduce用户对像SQL这样的声明式语言并不熟悉。因此他们着手开发“一种叫做Pig Latin的新语言，这种语言被设计为在像SQL这样的声明式类型的语言和像MapReduce这种较底层的过程式的语言之间达到一个非常好的平衡点。”
最初Yahoo!的Hadoop使用者开始采用Pig。之后一个开发工程师团队开始接手Pig的最初原型并将Pig原型开发成一个达到产品级别的可用产品。在这个时间点左右，也就是2007年的秋天，Pig通过Apache孵化器进行开源。一年后也就是2008年的9月，Pig的第一个发布版本出现了。同年的晚些时候，Pig从孵化器中毕业，正式提升为Apache Hadoop项目的一个子项目。
2009年早期其他公司在他们的数据处理中开始使用Pig。Amazon也将Pig加入它的弹性MapReduce服务中的一部分。2009年末，Yahoo！公司所运行的Hadoop任务有一半是Pig任务。在2010年，Pig发展持续增长，这一年Pig从Hadoop的子项目中脱离出来，自己成为了一个最高级别的Apache项目。
为什么叫做Pig
有一个问题经常被问起，那就是“为什么把它命名为Pig？”人们还想知道是否Pig这个词是由缩写字母组成的。回答是否定的。事实上最初开发这个项目的研究人员只是简单地把它称为“那种语言。”不过他们终究需要为它起个名字。一名研究人员的脑海中出现了Pig这个单词，然后就提议称它为Pig，这个名字一下子就让大家惊住了。这个名字古怪但是容易记也容易读。虽然有些人暗示这个名字听起来有点别扭或者傻，但是因这个名字促使了我们一个非常不错的命名方法，例如把这种语言命名为Pig Latin，把终端交互命名为Grunt，把一个共享资源库性质的分支成为Piggybank。
[1] Christopher Olston et al, “Pig Latin: A Not-So-Foreign Language for Data Processing,”可以通过如下链接获得http://portal.acm.org/citation.cfm?id=1376726。
用户需要下载和安装Pig，才能在本地机器或者Hadoop集群上使用它。如果用户已经了解并完成了这一操作，那么可以直接跳到2.2节“运行Pig”进行阅读。
用户既可以直接下载Pig安装包也可以先下载源代码然后自行进行编译。当然同样也可以以Hadoop分支的方式获得Pig。
这个是Apache Pig的官方版本。它是一个软件包，里面包含了运行Pig所需的所有JAR包。用户可以通过访问Pig发布页面进行下载。
Pig不需要安装到Hadoop集群中去。它运行在用户提交Hadoop任务的那台机器上。尽管用户可以从个人笔记本电脑或者台式计算机运行Pig，但是在实际操作中，大部分的集群管理员会配置好一到多台可以访问他们Hadoop集群的服务器，虽然这些服务器可以不是集群的一部分（也就是说它们既不是数据节点也不是计算节点）。通过这种方式，管理员可以方便地升级Pig和将工具集成在一起，同时也可以很好地限制人员对于集群的访问。这些机器被称为网关机或者缝边机。本书中我称之为网关机。
用户需要在这些网关机上安装Pig。如果用户是通过个人台式计算机或者笔记本电脑访问Hadoop集群的话，那么同样需要在个人台式计算机或者笔记本电脑上安装Pig。当然，如果用户想通过本地模式使用Pig的话，那么也可以将Pig安装到个人的本地机器上。
Pig的核心是用Java语言编写的，因此它是跨平台的。启动Pig的shell脚本是个bash脚本，所以它需要一个Unix环境。Pig所基于的Hadoop，即使使用的是本地模式，也需要是UNIX环境的，因为Hadoop的文件操作是基于UNIX的。实际情况是，大部分的Hadoop集群采用的是Linux系统。很多Pig开发者是在Mac OS X系统上开发和测试Pig的。
Pig需要Java 1.6支持，Pig版式从0.5到0.9需要Hadoop 0.20版本支持。对于以后的版本，请在下载页面确认该版本需要对应的Hadoop版本是多少。下载的Pig中会包含与它对应的Hadoop。如果用户想在本地模式下使用Pig或者想把它安装到一个没有安装Hadoop的网关机上，那么就不需要额外去下载Hadoop。
一旦下载完Pig，可以把它放在自己喜欢的任何位置，Pig无需依赖一个特定位置。安装第一步，将压缩包放在用户期望的目录下然后执行：
tar xzf filename
其中filename 是用户所下载的TAR压缩包文件。
安装第二步是确定环境变量JAVA_HOME是否设置指向到包含一个Java发布版的目录，这一步是为执行Pig做环境准备。如果这个环境变量没有设置，那么Pig会立即执行失败。用户可以通过shell命令设置该环境变量，也可以在调用Pig的时候通过命令行指定该环境变量，或者在位于用户刚才解压后的文件bin目录下的pig脚本文件中显式地指定好JAVA_HOME环境变量。用户可以通过执行 which java命令查看当前java所在路径，把这条命令返回的结果后面的bin/java 去掉，就是当前环境中JAVA_HOME的值。
除了官方的Apache版本之外，同样有一些其他的公司会重新包装和分发Hadoop以及与其相关的工具。当前这些公司中最受欢迎的是Cloudera，它为Red Hat系列的系统开发相应的RPM包以及为Debian系统开发相应的APT包。对于不可以使用这些包管理器的其他系统，Cloudera同样提供了tar压缩包文件。使用像Cloudera这样的发行版的一个优点是与Hadoop相关的所有工具都是打包在一起并且在一起测试完成的。同样，如果用户需要专业的技术支持，它也是提供的。缺点是用户将受制于其使用的发行版的提供商的发行速度。Apache推出一个新版本后，然后到各个分支给出不同的发行版，这中间会有一定的时间延迟。
如果想获得从Cloudera下载和安装Hadoop和Pig的详细说明，请访问Cloudera下载页面。需要注意的是用户需要单独下载Pig，因为Hadoop包中没有包含Pig。
除了可以从Pig的Apache官方网站上下载发行版之外，用户还可以通过Apache的Maven资源库下载Pig。这个站点包含了Pig需要的所有JAR文件，包括源代码jar包文件，Javadocs jar包文件，同时还包括一个定义了Pig所依赖的JAR包的POM文件。如果用户使用maven或者ant进行编译，在编译过程中也会自动从这个资源库中下载相关的JAR包。
当用户从Apache下载Pig的时候，同时也会得到所有Pig的源代码。这样可以方便用户调试其下载的那个版本的Pig或者只是下载代码下来看看Pig是如何工作的。但是如果用户想一直跟随在最前沿，想在正式版本发行前尝试新的功能或者进行bug修复，那么可以通过Apache的版本管理资源库中下载源代码。用户需要可以访问Pig的问题跟踪系统并将一些补丁文件打到自己使用的版本中，这些补丁文件往往还没有来得及合并到代码资源库中。如何通过svn或者git获得Pig可以在Pig的版本控制页面这个网页看到。
用户可以在本地运行Pig也可以在集群系统上运行Pig，还可以将Pig作为Amazon的弹性MapReduce服务系统的一个组成部分运行。
本地单机运行Pig按Pig的定义说法是以local模式运行。Local模式对于样机研究和调试用户所写的Pig Latin脚本是非常有用的。有些人在处理小文件的时候也采用这种模式，尽快处理流程和处理大数据量是相同的——这样可以保证无论处理什么数量级别的数据时都采用一致的数据流，但是他们不希望集群为处理小的文件和小的任务而浪费资源。
在0.6版本和更早的版本中，Pig自身是以local本地模式执行脚本的。从版本0.7开始，它开始使用Hadoop的类 LocalJobRunnr，这个类可以读取本地文件系统并且可以在本地执行MapReduce任务。这样执行的优点是在本地运行Pig任务和在集群中执行是相同的，同时它们都是以相同的流程执行，从而使得调试更加方便。缺点是太慢，启动一个本地的Hadoop实例需要将近20秒的时间，即使是非常小的任务也需要耗时这么久。[1]
下面我们以local本地模式运行一个Pig Latin脚本。查看前言的“本书中的代码样例”部分获得如何下载本例中所需要的数据和Pig Latin代码样例脚本源码。例2-1所示是个简单的例子，其加载了文件NYSE_dividends，并按股票交易码进行分组，然后计算每个交易码对应的平均股息。
例2-1 以本地模式运行Pig
-- average_dividend.pig
-- 从NYSE_dividends中加载数据，并声明其有4个字段
dividends = load 'NYSE_dividends' as (exchange, symbol, date, dividend);
-- 按照股票交易号对行进行分组
grouped = group dividends by symbol;
-- 计算每个股票交易号对应的平均股息
avg = foreach grouped generate group, AVG(dividends.dividend);
-- 将结果存储到文件average_dividend中
store avg into 'average_dividend';如果用户使用 head -5 这个shell命令来查看NYSE_dividends文件，那么将会看到：
NYSE CPO 2009-12-30 0.14
NYSE CPO 2009-09-28 0.14
NYSE CPO 2009-06-26 0.14
NYSE CPO 2009-03-27 0.14
NYSE CPO 2009-01-06 0.14这与我们在Pig Latin脚本中所声明的结构是一致的。第1个字段是这支股票所属的交易所的名称，第2个字段是股票交易码，第3个字段是所支付股息的日期，第4个字段是股息的大小。
提示
记住，在运行Pig前用户需要设置JAVA_HOME环境变量。
这个值等于用户使用的Java发行版所在的目录路径。
切换到NYSE_dividends文件所在的目录，然后用户就可以通过如下方式以本地模式的方式运行Pig了：
pig_path/bin/pig –x local average_dividend.pig
其中pig_path是指用户本地机器Pig安装所在的目录。
执行上述命令后用户应该能看到屏幕上有很多输出。大部分输出是MapReduce的LocalJobRunner所生成的日志，但其中也有一些是Pig告诉用户它将如何执行这个脚本，以及执行过程中的状态信息等。在输出的最底端用户应该能看到一个简短的提示信息 Success!。这意味着一切进展顺利。该脚本将输出存储到average_dividend文件中，因此也许用户期望能在自己的本地目录下发现一个名字为average_dividend的文件。事实上用户会发现一个这个名字的目录，该目录下有一个名字为part-r-00000的文件。这是因为Hadoop是一个分布式系统，一般是以并行的方式处理数据的，当它将输出数据存放到一个“文件”中的时候，它就会使用这个“文件”的名称创建一个目录，每一个写处理过程就会在这个文件夹中生成一个独立的文件片段。在这个例子中我们只有一个写处理过程，因此我们只得到了一个文件片段。用户可以通过如下命令查看这个结果文件中的内容：
cat average_dividend/part-r-00000 | head -5结果是：
CA 0.04
CB 0.35
CE 0.04
CF 0.1
CI 0.04大部分的时间用户将在Hadoop集群上运行Pig。正如我们在2.1节“下载和安装Pig”中所描述的那样，Pig可以在用户个人机器或者网关机上以local本地模式运行。所有的语法解析、执行校验以及制定执行计划都是在本地完成的。Pig然后才会在集群上执行MapReduce任务。
提示
当我提到“用户的网关机”的时候，我的意思是那台用户可以提交Pig任务的机器。通常情况是一台或多台可以访问Hadoop集群的机器。然后，看用户机器的配置了，它也可以是用户的本地机器。
为了能在用户的机器中使用Pig，只需要告诉Pig两个信息：集群的Namenode和JobTracker所在的位置。NameNode是HDFS的控制者，JobTracker协调MapReduce任务。在Hadoop 0.18和更早版本中，这些位置用户可以在配置文件hadoop-site.xml中找到。在Hadoop 0.20版本和之后版本中，它们在不同的配置文件中：core-site.xml、hdfs-site.xml和mapred-site.xml。
如果用户已经通过MapReduce或者其他工具在用户的网关机上运行了Hadoop任务，那么用户很有可能已经看到这些文件了。如果没有，那么最好的办法是从集群节点机器中复制一份相同的配置文件到用户的网关机上。这样可以保证得到的是正确的地址和其他一些相关的配置信息。
如果不管是什么原因，无法从集群中复制这些文件，那么用户可以自行创建一个hadoop-site.xml文件。文件内容如下所示：
< configuration>
< property>
< name>fs.default.name< /name>
< value>_namenode_hostname:port_< /value>
< /property>
< property>
< name>mapred.job.tracker < /name>
< value>jobtracker_hostname:port< /value>
< /property>
< /configuration>
用户需要从他的集群管理员那里获得NameNode和JobTracker对应的服务器名和端口名。
一但用户找到了，复制了或者自己创建了这些配置文件，之后需要告诉Pig这些配置文件在哪个目录下，用户需要设置PIG_CLASSPATH这个环境变量到那个目录下。需要注意的是需要指向的是那些XML配置文件所在的目录，而不是这些配置文件本身。Pig会自动加载读取那个目录下的所有XML和properties类型的文件。
让我们再重新运行下这个之前在本地模式运行过的例子（例2-1）。如果用户是第一次使用这个集群，那么最好创建一个根目录。这个过程可以通过Pig来完成：
PIG_CLASSPATH=hadoop_conf_dir pig_path/bin/pig –e fs –mkdir /user/ username
其中hadoop_conf_dir是包含hadoop-site.xm或者core-site.xml、hdfs-site.xml和mared-site.xml文件的那个目录；pig_path是指用户的网关机上Pig所在的路径；usename是用户在网关机上的用户名。如果用户使用的0.5或者更早的版本，那么需要将命令语句中的“fs –mkdir”改为“mkdir”。
提示
记住，在执行任何Pig命令前，都需要设置好 JAVA_HOME环境变量。详细信息请查看2.1.1小节“从Apache下载Pig软件包”。
为了可以在用户集群中执行这个例子，需要将数据文件复制到集群中：
PIG_CLASSPATH=hadoop_conf_dir pig_path/bin/pig –e fs –copyFromLocal NYSE_dividends NYSE_dividends
如果用户使用的是Pig 0.5版本或者更早的版本，需要将上述命令中的“fs–copyFromLocal”换成“copyFromLocal”。
现在已经准备好执行这个Pig Latin脚本了：
PIG_CLASSPATH=hadoop_conf_dir pig_path/bin/pig average_dividend.pig
输出的前几行告诉用户Pig是如何连接到集群中的。这个信息之后会描述执行该脚本的进度信息。用户需要通过检查Pig报告的信息和集群的信息是否一致来确定Pig连接到了正确的文件系统和JobTracker，这点很重要。如果文件系统是以file:///开头或者JobTracker显示的是 localhost，那么表示Pig并没有连接到集群中。如果这样，用户需要检查配置文件中是否正确地设置了值，还有设置的PIG_CLASSPATH指向的目录是否包含了那些配置文件。
在靠近输出信息的最后面，应该有一行输出信息为Success!。这意味着脚本成功执行了。之后用户可以通过如下命令查看结果：
PIG_CLASSPATH=hadoop_conf_dir pig_path/bin/pig –e cat average_dividend
执行上述这条命令应该给用户相同的连接信息，最终会输出所有的股票交易码和它们的平均股息值。
用户可能注意到在例子2-1中我曾指出average_dividend是一个文件夹，因此用户需要使用cat查看这个文件夹下的片段文件。然而在这个例子中，我直接使用命令cat来查看average_dividend这个目录。如果用户使用list命令查看average_dividend这个目录，可以发现这和之前一样确实是个文件夹，但是在Pig中，命令cat是可以操作文件夹的。在第3章中会对此进行讨论。
云计算[2]伴随着软件即服务（SaaS）模式的出现已经好几年了。像Hadoop这样的硬件密集型的应用的出现是偶然的。搭建和维护一个Hadoop集群是一个需要在硬件获取、设备成本以及维护和管理等方面进行昂贵投入的命题。很多用户发现如果通过租硬件的方式会比较便宜一些。
无论用户或者用户的组织决定是使用云端的Hadoop和Pig还是使用自己拥有和操作的机器，在用户所使用的集群上运行Pig的使用说明都是一样的，具体操作请查看2.2.2小节“在Hadoop集群上运行Pig”。
然而，Amazon的弹性MapReduce（EMR）云服务提供的方式有所不同。EMR允许用户租借虚拟Hadoop集群，而不是允许用户租借机器用于任何类型的处理（像Amazon的弹性云计算[EC2]服务和其他云服务）。这些集群从Amazon的简单存储服务（S3）读取和存储数据到S3。这意味着用户甚至不用自己去建立他们自己的Hadoop集群，而如果使用EC2或其他类似服务时他们需要自己去建立Hadoop集群。
EMR用户可以通过他们的浏览器，SSH或者一个Web服务API访问他们租借的Hadoop集群。想获得关于EMR的更多信息，请访问网址：http://aws.amazon.com/elasticmapreduce。不过，我建议从这个不错的向导开始，向用户介绍该服务的一些相关信息。
Pig具有许多用户可以使用的命令行选项。用户可以通过输入 pig -h命令查看完整的选项列表。大部分的命令行选项我们稍后会在使用了这些选项功能的那些章节中讨论。在本小节中我们将讨论如下几个不同的命令行选项：
-e 或者 –execute
在Pig中单独执行一条命令。例如：pig-e fs–ls 将会列举出用户根目录下的文件。
-h 或者 –help
列举出可用的命令行选项。
-h properties
列举出Pig将要使用的属性值，如果用户设置了这些属性值。
-P 或者 –propertyFile
指定一个Pig应该读取的属性值配置文件。
-version
打印出Pig的版本信息
Pig同样会使用很多的Java属性值。属性值信息的完整列表可以通过执行pig –hproperties命令打印出来。在之后使用到相关属性值的章节中再讨论如何指定哪些属性值。
Hadoop同样具有许多用于决定其行为的Java属性。例如，用户可以通过设置属性mapred.child、java.opts来对运行map和reduce任务的JVM传送一些属性值。在Pig 0.8版本和之后版本中，这些Java属性也可以传送给Pig，Pig然后会在调用到Hadoop的时候再将这些参数传送给Hadoop。对于0.8版本之前的其他版本，这些属性值必须要在hadoop-site.xml配置文件中配置才可以，这样Hadoop客户端会自己加载这些配置信息。
这些属性值可以通过命令行选项–D 传送给Pig，传送的格式和普通的Java属性一样。例如，bin/pig –D exectype=local。当使用命令行的方式加载这些属性的时候，必须要在Pig专有的命令行选项（例如，-x local）前定义这些属性。用户也可以在用户所使用的Pig发行版目录下的conf/pig.properties这个文件中定义用户的属性值。最后，用户还可以通过 –P命令指定另一个不同的配置文件。如果同时使用了命令行的方式和属性文件的方式设置属性值，优先以命令行设置的值为准。
Pig使用如表2-1所示的返回码来传达是成功还是失败。
表2-1 Pig的返回码
| 值 |
含 义 |
备 注 |
|---|---|---|
| 0 |
成功 |
|
| 1 |
失败，但还可以重试 |
|
| 2 |
失败 |
|
| 3 |
部分失败 |
Mulitquery下使用；请参考6.3节“非线性数据流” |
| 4 |
传递给Pig是非法参数 |
|
| 5 |
抛出IOException异常 |
通常是由UDF抛出的 |
| 6 |
抛出PigException异常 |
通常意味着有Python UDF抛出了异常 |
| 7 |
抛出ParseException异常（参数代入完成后进行解析时可能会抛出这样的异常） |
|
| 8 |
抛出Throwable异常（一种未知意外异常） |
[1] 本地模式下同样切换使用MapReduce过程的另一个原因是，Pig每一个新增的功能都更多地使用到MapReduce的特性，这些特性在本地模式下非常困难或者几乎不可能复制下来。因此本地模式和MapReduce模式具有不同的功能集合。
[2] 作为当前最火的技术，术语“云计算”已被用来描述所有使用多台计算机而不仅仅只使用一台计算机的应用。而本章中所说的云计算是指使用计算机集群并部署特定的软件进行运算的活动。
