详情
优化测试助你的网站日益精进
优化测试是显著促进网站转化率及提升收益最保险的方法。针对设计方案或内容变更进行测试，你可以快速找到哪些变化能够更好地刺激用户行动。本书将向你展示如何从访客的行为和决定中吸取经验；如何有效解读访客回应，了解网站的优缺点；以及优化网站效果与提升转化率的种种方法。
书名：提高转化率！网页A/B测试与多变量测试实战指南
ISBN：978-7-115-30552-7
本书由人民邮电出版社发行数字版。版权所有，侵权必究。
您购买的人民邮电出版社电子书仅供您个人使用，未经授权，不得以任何方式复制和传播本书内容。
我们愿意相信读者具有这样的良知和觉悟，与我们共同保护知识产权。
如果购买者有侵权行为，我们可能对该用户实施包括但不限于关闭该帐号等维权措施，并可能追究法律责任。
• 著 [英]Colin McFarland
译 李 莹
责任编辑 赵 轩
• 人民邮电出版社出版发行 北京市丰台区成寿寺路11号
邮编 100164 电子邮件 315@ptpress.com.cn
• 读者服务热线：(010)81055410
反盗版热线：(010)81055315
Experiment! Website conversion rate optimization with A/B and multivariate testing (ISBN 13: 978-0-321-83460-7)
Colin McFarland
Copyright © 2013
Authorized translation from the English language edition published by New Riders.
All rights reserved.
本书中文简体字版由美国New Riders出版公司授权人民邮电出版社出版。未经出版者书面许可，对本书任何部分不得以任何方式复制或抄袭。
版权所有，侵权必究。
优化测试是显著促进网站转化率及提升收益最保险的方法。通过针对设计方案或内容变更进行测试，你可以快速找到哪些变化能够更好地刺激用户行动。本书将向你展示如何从访客的行为和决定中吸取经验；如何有效解读访客回应，了解网站的优缺点；掌握用户体验、设计与创意；以及优化网站效果与提升转化率的种种方法。
本书适合网站优化测试人员、用户体验研究人员、交互设计师、视觉设计师、互联网产品经理、网站分析人员、互联网企业管理者等相关人士阅读。
对于互联网营销分析和网站分析，我总是认为这是一个从目标开始，再到监测和数据获取的实施，然后再到分析，再至优化方案提案，再至优化方案的实验和测试，最终落地后提出新的目标的一个闭环过程。在这个过程中，人们常常为“分析和提出优化方案”倾注了大量的心血，但我却有一丝遗憾，因为我们对第一步（目标）和第五步（优化方案的实施和测试）的关注并不足够，而这两步，是怎么强调都不过分的。
毫无疑问，分析是寻求真相之旅的非常重要的部分，但肯定不是全部。无论如何，你的分析结论在经过实践的检验之前，都只是写在纸上的“理论”，而并不真正意味着大获全胜的“优化结果”。在接受检验前就被认为完全正确的分析结果确实存在，但要么是因为其分析对象是一眼就被看穿的“常识性错误”，要么是极佳的运气。然而，对于成熟运行的组织和业务而言，这二种情况都是罕见的。我们面临的情形往往不是缺乏对实际情况的描述，而是缺乏对实际情况背后原因的描述和针对性的对策，单纯的分析能够给我们一些建议，但不能告诉我们这些建议是否真正可靠有效。
在我们的方法论的闭环中，为寻求真正的真相——我们无法摆脱对实验和测试的依赖。这种方法在所有自然科学和社会科学的领域中，都是完全一样的。分析帮我们提出理论，实验和测试帮我们验证理论。
事实上，我们在互联网营销绩效的评估与优化的过程中，与实验与测试打过太多交道。我们未必会对此留心，但这种方法不啻为最为普遍使用的方法。例如，当我们做EDM营销，仅仅是为了测试标题对人们点击邮件的影响，就可能会使用超过十种的不同标题。在显示性广告（Display Ads）中，我们会在一个广告位上测试不同类型的创意，以研究人们对何种信息传达的视觉方式更为敏感。搜索引擎PPC营销中，对不同的文案反复测试实在是家常便饭，以帮助我们研究什么样的文案创意最能触动普罗大众的心弦。
但我们可能并不把这种方法经常用在网站上。我接触过的一些电子商务网站，其中一些常常使用A/B测试去解决它们未决的争议，而另外一些则完全不使用任何这些方法。后者的页面永远只有一个正在线上的版本，若意识到某个版本不对，则设计一个新的页面代替旧的，但新旧页面不需要也没有理由让它们共存。我不敢妄下结论，认为后者是一种不合时宜的方式，或许对一个组织的文化而言，任何一种正在运行的方法都有其合理性。但那些利用A/B测试的组织，在我了解的范围内，确实具有更为精细的运营管理能力，并且似乎更能够平息因为网站和页面在用户体验上的不同看法而发生的“纷争”。
这或许是我对A/B测试和其他实验方法如此推崇的一个原因。另外一个原因，是这些实验和测试确实是非常“无损”的，即，我们并不会担忧任何一个新的改变会让事情变得更糟，即使实验本身所需要做出的改变本身真的存在问题，我们也有非常完整的方法论与预案去控制这些改变能够影响的范围以及持续的时间，并且随时能够中止这些改变。这意味着我们不需要担心实验或测试会为用户体验带来负面影响，除非你非要把事情“故意搞砸”，但我实在看不到这么做的理由。
不过，强调实验和测试重要性的最大原因，还是在于只有这个方法能够帮助我们挖掘真正的真相。在这个世界上，或许除了X-Men，我们没有能力直接窥视别人的想法和愿望，所以也就无从直接获得人们喜爱或者憎恶的真相。在互联网营销和网站优化领域中，真相其实只涉及一个问题——用户背后行为的驱动力——是什么促使了他们愉快与满足，又是什么引起了他们的失望或不快。分析可以给我们提出一些可能的假设，但这些假设是否成立，在没有常识帮助的情况下，我们只能通过修改这些假设的前提条件，即某些我们认为对用户施加影响了的、我们可控的驱动因素，来对比和分析这些不同驱动因素条件下用户的反应，从而探知这些假设是否可以称得上左右用户的真正原因。
这个逻辑还给了我们一个附加的好处——要么我们可以通过它排除那些并不影响用户的方面，要么通过它发现确定那些确实影响用户的方面。它给了我们是与否的定案，而不是可能是或可能不是的似是而非的猜测。我们直接可以用这些定案指导我们影响用户或顾客的策略。
我没有什么理由不推荐这种方法。我甚至可以举出很多案例和数字来说明这些实验和测试对商业绩效带来的翻天覆地的变化。在我过去的工作中，一个页面与另外一个页面仅仅是商品上标签和推荐的小小不同，即会数倍的改变用户点击的行为并直接影响最终转化的效率。
但是，如何让这种方法真正发挥同案例一样的价值，则是一个值得学习和探索的问题。首先，这个方法不是万能的，它有其适用范围。其次，从原理上讲，实验和测试所使用的都是效果对比的方法，因此如何通过技术方式控制非对比因素的影响（即确保除了对比因素之外的所有其他条件都统一）是首先要解决的问题。再者，即使技术上没有问题，组织和文化所施加的影响也极大地左右着实验和测试是否能够开展以及开展之后的实际效果。最后，一个完美的实验或测试离不开最后对过程和结果的详细分析和进一步提出问题。这些可能都不似我们预想的那么简单。如果确实简单，那么这本精致的小册子大概没有存在的必要；但如果你想专业地经历这个发现真相的过程，的确值得学习其中深入浅出的原理、方法与经验。
最后，如果你认真读这本书，你会发现译者是在用心翻译，这原本最基本的要求竟是今天最可贵的东西。 所以，这本书给了我乐趣，更给了我信心，让我相信诚恳治学，勤奋踏实和不急功近利仍然幸存。善莫大焉。
宋 星
如果我们的网站是商业运营，改善它，使它为业务与访问者带来更多的价值是我们一直以来的追求。我们可能会间或使用一些优化方法，尝试各种工具，通过指标反应猜测它是否真正产生作用。但这之中是存在问题的，非受控环境下产生的数据污染可能存在非常大的影响，也许我们看到的指标没办法解释任何真相。不过，你也许有办法确切了解哪些变更方案真正粗声了价值提升，甚至还能知道提升了多少。你会选择哪种？如果你更倾向于采用可控的度量方法而不是单纯的猜测，那么太棒了，欢迎加入优化测试的世界！请继续阅读本书，你将会了解优化测试是什么，不是什么，并且进一步了解如何进行优化测试。
所谓优化测试，是通过收集信息来对比预期效果与现实效果差异的一种手段。想要考量一个新创意或者当前体验的效果，你需要在特定的环境下观察访问者对网站的使用情况，（理想角度来说）这种环境需要除去正在测试的内容之外，其他元素环境均保证完全
相同。
优化测试是指通过收集信息，对比预期效果与现实效果差异的一种手段。
你的测试可以是关于一个很小的细化，也可以是一项新功能、一次以草稿为基础的全新设计、一段诱导文案、各种业务逻辑、算法变更、价格机制调整、营销策略等等，随你所想，如你所愿。只要你的情景设想足够清晰，自己了解想要达到什么样的目标，一切都可以测试。
《The Lean Startup》一书的作者Eric Ries完美地归纳了优化测试的界限：“测试并不意味着坐等结果。若是这样，就完全没有失败可言了。如果只是以查看结果为目的，那么不论发生什么总归都是
结果。”
所以说，测试是需要预测的，我们要去设想自己期待什么。这里不能是开放式的结局，不要只是单纯地等着看会发生什么，否则到最后你会茫然不知所措。
事先坦言声明，这本书无法告诉你你具体应该测试什么，也不可能逐一列出各种捷径、速效方法或者最佳实践。而且，如果你找到了上述法门，还请务必通知我。
那么除此之外，我将会倾囊相授我认为更为有用的东西，你会学到一些指导方针，根据我的经验，这些更有助于你测试成功。在本书中，请以“怎么做”而不是以“是什么”的角度对待优化测试。
接下来，首先我们来了解一下从何入手，好的开始是成功的一半。
本书的前提是假设你已经相当熟练掌握网站设计，并且对网站可用性至少达到了解的程度（毕竟你阅读的是一本关于优化测试的书）。那么鉴于你一直都在对网站进行修改，大概需要针对什么进行测试你也已经心中有数。
对于你想到的这些事情不需要让它变得更复杂，我们这就从显而易见的事物着手！明显需要测试的显见事物诸如下例：
如果这些还不够，想一下最近改版做了哪些变更，说不定你会收获不少惊喜。
有些同学比较希望能效仿其他优化测试得到速效法门，不过，我更加主张你将它们当做案例和示范来学习，不要盲信盲从。因为你可能无法了解某项测试的全局环境，也无法知晓这些测试最初经过了怎样严密的规划。
因此，你在本书中也无法找到能与切身问题对号入座的案例。而且，像“找不同”一样过于纠结细节变化会让我们过分陷入实施层面，分散我们获取信息与学习经验的注意力。
与其想要不加鉴别地模仿他人，不如学习他们优化测试中的情景设想和目标，再想一下如何吸取其精华，应用到自己的优化测试中。
我们需要亲自体会，克服障碍，完成一系列测试，之后发掘出对自身、对业务、对客户真正发挥作用的东西。接下来，就让我们继续学习如何达成成功的测试。
小结
▲ 优化测试是在限定条件下进行观察。
▲ 优化测试可以应对任何情景，可以测试网站或服务的任何方面。
▲ 从显而易见的问题着手，以便迅速进入状态。
▲ 没有捷径，只有唯一的指导方针——优化测试！
大多数情况下，你进行优化测试的目的都是为了提升转化率，将现有的转化率进一步提升到新的挑战数值。
有些访问者按照你的预期完成了特定动作，例如下单或进行了某些预订，这一比率就是你的转化率。
当然，的确有些东西是对提升转化率非常有用的测试材料，在本节中我们就将讨论这些内容，它们大致上可以分为体验、选择与行为。
在你准备开始优化测试或学习相关内容时，请记住这些技巧。以这些技巧为核心，配合有力的情景设想和清晰的目标，你会很快找到最佳优化方案。
很可能出现这种情况，你的网站上已经混杂了许多没有价值的功能与噪音，甚至它们可能反而将访问者的注意力从原本产生价值的元素上引开。例如，表单中的非必填项、不必要的广告横幅、非核心的功能点，甚至只是一些艺术元素，总之是各种分散注意力的东西。
化繁为简的做法其实和增加新内容几乎一样，在你增加新内容之前，你可以采用测试逐步删减内容，排除其中无意义的噪音污染（图1.1）。
图1.1 基于对照测试，Bing.com（必应搜索）发现搜索结果页底部的检索框几乎没有用处，去除该功能反而有助于提升页面效果。
化繁为简能够帮你快速简便地测试出最佳优化方案。不仅如此，它还能够帮助你在网站上留下真正有用的功能，为后续的优化测试作好铺垫。噪音污染越少，优化测试的效果也越显著。
顾客浏览你的网站的时间弥足珍贵。倘若你只不过移除了原以为很有价值的绣花枕头，便豁然发现这一举动直接促成不少现有测试表现出优化结果，也不要太惊讶哦。
Steve Krug[1]所言极是：别让我思考。易用性极佳且用户体验（UX）一流的网站通常转化情况都很好。
你可以使用优化测试简化与提升网站的用户体验，尤其是一些重要又略微复杂的功能，例如注册表格、搜索、排序与过滤、产品交互、支付路径。
有时候，你只要让顾客便捷地找到他们想要的东西并且让他们顺利支付，你的测试便很容易大获成功。我们将在第3章讲述更多测试中与用户体验相关的内容。
请像对待情感丰富之人一样与你的顾客交流。通过测试让设计和语言能够更加清晰地传达。在设计方面，使用大家能够理解的视觉形象来交流，告诉顾客他们身在何方、将要去往何处、眼前正在发生什么；在语言方面，多用清晰、积极的词汇，避免没必要的术语
行话。
真正卓越的用户体验会令顾客感到愉悦，试想一下使用iPhone时的愉快感受，从包装到用户界面，每个细节都精致入微。尝试对那些希望带给受众愉快感受的地方进行测试，它的吸引力蕴藏于细节设计之中，蕴藏于优化测试之中，细节意味着一切。
大多数网站给予人们太多选择，亚马逊（Amazon.com）上有10万种DVD、240万种图书；Match.com上有150万的相亲对象。但是恰如社会科学家Sheena Iyengar在其著作《选择的艺术》中所言，太多的选择反而会成为我们判断的障碍，令我们无法作出选择。试想我们准备给朋友买件不错的生日礼物，原以为这事儿小菜一碟，但一逛之下却发现自己面前的可选对象琳琅满目，顿时无所适从。
Paul Adams在其著作《Grouped》一书中，也讲述了一则减少选择对象来促进销售的好例子：宝洁将海飞丝系列的产品类型从26种减少到15种，销售额却提高了10个百分点。
我们可以用各种默认项、诱导词（图1.2）及标记来组合成不同内容提供给顾客并进行测试，诱导顾客完成包括甚至不限于他们应该作的
选择。
图1.2 非常简单，Soocial.com只是在注册按钮温和地增加了一句“免费”的诱导词，就让转化率提高了28%。
诱导访问者完成选择，有利于带动他们在网站上互动，通过对选择对象进行简化及引导，能够防止顾客因为犹豫不决导致最终放弃。
Robert B. Cialdini在《影响力》一书中，定义了6种劝导力的普遍原则：稀缺性（东西越稀缺，大家越追求），社会认同（我们会观察别人的做法，从而影响自己的行为），喜好（越是喜欢，越愿意认可），权威（我们总希望得到专家指点），承诺和一致（我们希望采取同自己的承诺与价值相符的行为），互惠（面对曾经施惠于我们的对象，我们无法拒绝对其回报）。
劝导式设计已经被广泛应用多年。尤其在各种商业街和超市中更是随处可见，各种劝导式设计纷纷在顾客抵达或游逛时鼓励及诱导顾客产生消费行为。
相应地在网络世界中，PET（persuasion劝导，emotion情感，trust信任）也成为了人因国际[2]率先倡导的设计方式。劝导式设计连同可用性与用户体验，共同成为了对提升转化率影响至关重要的因素。
——Paul Rourke：Booking.com：improvling conversion with best practice persuasive design，发布于Econsultancy.com
网站上的任何元素都可以应用于劝导，都可能推动顾客进入结算步骤及完成购买（图1.3）。优化用户体验并不算难，能够理解网站上的劝导信息便挖掘到了促使顾客购买的真正原因。你可以参考如下做法：
如果能够正确地处理劝导内容，你便可以在优化测试中发觉它带来的极大投资回报。
图1.3 Booking.com将劝导式设计视为网站核心。Paul Rouke采用了一些非常棒且具有突破性的技巧促成了顾客预订旅店。
这一节的主题是如何劝诫访问者放弃中途离开所在路径的念头（图1.4）。
劝诫，是指说服某人不要采取某些行为。
例如，我们可以劝诫顾客不要点击倒退、返回主页等按钮，让他们更专心于留在我们期望的行为轨迹上，完成我们预想的行为动作。
我们需要进行这样的优化测试，在顾客恰好需要信息的时候给予他们信息，加强提醒他们之前作了什么选择并且这样的选择为什么是正确的，还可以指明流程，告诉顾客还差一点点就能大功告成。
图1.4 Facebook将非活跃账户的页面打造得格外煽情。这张页面上放着用户朋友的照片和名字，写着“他们想念你”，并且还附着一条给他们发送信息的链接。通过此法，Facebook将非活跃账户的数量降低了7%（一年约100万的用户量）。这就是一则在优化测试中使用行为及劝诫技巧的优秀范例
行为经济学领域也对优化转化率提供了一系列技巧。这些技巧主要围绕行为学原理，能够造成各种响应、动作或影响。
我们可以将行为视为一种开拓性的技巧，尤其适合用来获取新的回报。我相信，没有所谓中立的设计，了解设计变更对行为造成的影响是非常重要的。只有这样，你才能够考虑清楚自己的设计产生了什么样的影响，才有能力判断某些设计方案是否合适。
接下来，我们来讨论两种网页设计中非常常见的行为偏差。当然，除此之外还有更多的偏差问题存在，你也可以慢慢了解。
参照效应是指人们会选择一个基准点作为所有行为偏差的参考点。在参照效应的影响下，大家的后续行为不会偏离这个基准点太远。销售人员几乎都用过这种办法，例如在超市中，分期付款会刺激消费者与平常相比购买更多的东西；汽车销售人员和房地产经纪人在开始议价时将基准点设得很高。渐渐地，网站设计师们也开始使用参照效应（在表单待选项上默认选中一项，从而提高用户选中该项的几率）。
大多数商品在消费者心目中都有一个“参考价”，大家会根据这一参考价来评判商品。举例来说，当一个笔记本电脑在你心目中的价位大概是1000美元时，750美元看起来就像是已经捡了大便宜，但如果你预期的价位只有500美元时750美元又变得很贵。一些商品的参考价非常稳定（例如牛奶和面包），还有一些则时有波动（大多为电子产品）。
——Michael Graham Richard：《尼桑聆风汽车为电动汽车行业创立新标杆，引领行业跟进》，发布于Treehugger.com
框架效应是指人们的观点极易受到当前所见信息的局限。换一种角度搭建一个框架环境，就能够引导顾客从全新的角度理解事物。框架效应能够令潜在行为偏差按照特定方式触发。举例来说，如果你提供一种杂志订阅服务，每天2美元，假如你把它放到与咖啡对比的框架下，每天订阅的花销还不足一杯咖啡，你就可能赢得更多的订阅者。
心理学家Amos Tversky和Daniel Kahneman的一项研究阐述了这种效应（图1.5）。
一项研究要求测试参与者在两种治疗急症的方案中选出一种。展示给参与者的选项其实意义上完全相同，但是描述上却有所不同。
图1.5 当相同的数据在不同的框架环境中展示，参与者作出了不同的选择。
方案A和C的结果是一样的，方案B和D也同样如此。但是由于对这几种选项进行了不同的描述，从而影响了人们的选择。当选项被置于“有多少人能够获救”的框架下，人们更偏向稳健型方案。但是同样的选项被置于“有多少人会死亡”的框架下时，人们宁愿冒险一试。
▲ 对网站的用户体验进行测试。
▲ 对选择与劝导元素进行测试。
▲ 要明白没有完全中立的设计，我们要洞悉测试的内容产生了哪些行为影响。
现在，可能你已经对优化测试多多少少有一些想法了，不过先别忙着测试。在投入优化测试之前，我们一定要先明确自己想要通过优化测试达到什么目的。现在让我们来讨论一下如何创建一个测试计划，包含测试目标、情景设想以及测试结果。
目标单一简明的优化测试效果是最好的，一个目标对应一个成果，这个成果可以明确地告诉你这次测试效果是好是坏，还是没什么
差别。
不过大多数时候我们都会发现现实没那么简单。许多公司都有一个以上的关键绩效指标（KPI）。那么你需要关注的，首先是转化率、平均订单价值（AOV）这些首要目标，其次还有注册、评价和顶一下的数量。对于每项测试，你都需要关注对这些KPI产生的影响。
每次测试都设立一个能够界定测试成败的简明目标非常重要，这个目标需要考虑到每项KPI对收益的影响。这也就意味着我们终归要在这些首要和次要的KPI之间作出权衡，最终将测试价值统一起来。还有一点至关重要，此时我们考虑的不是仅仅几天的收获，而是针对长期价值的长远目标。
我们可以对不同的测试设立不同的目标，重要的是要确保每一项测试对应的目标都正确无误。确定了在未来测试中如何界定成功的方法，你也就可以公平地度量每项测试了。
现在你已经清楚了解了自己要达成的目标是什么，接下来让我们继续讨论如何创建情景设想。
情景设想是指你认为你在优化测试中会见到什么。你会希望找到特定变因与特定结果之间的联系，无论变因是已存现象在还是仅仅出于假设，也无论成果影响是正面还是负面。在你搭建情景设想时，你需要为你的计划找一些证明：“如果我们观察X，它将会证明这一变因与那个结果之间必然存在某种联系”。
情景设想，是指我们尝试性地进行推测，以便通过逻辑判断或主观经验挖掘及测试获知行为结果。
——韦氏词典
如果你希望提升优化“马马虎虎”的内容，保护表现优秀的内容，又或者是找到那些没用的内容（以便把它换成有用之物），情景设想都可以支持你达成测试目标。
我们做测试的目的很可能主要是想提升网站效果，销售更多的商品、预订更多的坐席、获得更多的订阅者，总之是促成各种提升。
优化与提升也恰恰是优化测试诞生的目的，而且，毫无疑问，优化与提升也是测试工作的核心。当你的测试工作日臻成熟，优化与提升甚至将成为你工作的全部焦点。
提升效果是好事，但是还有一项同样重要却常常被忽视的工作，就是即使在糟糕的设计选择下也能保护好你现有的东西，使之不蒙受损失。
设计选择不尽如人意是常有的事，测试依旧是鉴别新变更是否反而招致不良影响的唯一方法。
当你经过测试发现一些东西失败了，那么你可以转而看看留存下来的是什么。但是如果你连测试都没有做过，你只能对此一无所知。
这种情况是用于证明某些东西并不具有什么商业价值或其他可度量的价值，简而言之，它们对你的网站无关紧要，有它没它对于你的盈亏线而言无关痛痒。
如果这些东西针对你相应测试的情景设想反映出无关紧要的结果，你需要反思一下它是否真的具有价值。这种测试尤其适用于验证那些既劳民伤财又耗时的功能是否必要。
通过测试减少徒劳无益的东西，有助于给未来的创意释放空间，将精力放在真正增加价值的地方，这样甚至可能为你节省不少时间与花销。
对无法得出清晰的成果，又无法获得对未来测试有价值的经验的内容进行优化测试，这就是在浪费机会。因此一定要集中精力找到为你的业务带来真实价值的有用方案，避免无用的测试。
看电影的代价是多少？
如果我告诉你电影放映的时间恰好是你学生会竞选最终答辩的时间，而且你还在竞选中保有并列第一的佳绩，你会如何回答上面这个问题？
显然，你失去的东西就是成本。
Seth Godin：《Opportunity Costs》（《机会成本》），发布于sethgodin.typepad. com
你的情景设想在描述中最好能从字面上体现出例如“优化与提升”、“保护与留存”或者“没有影响”的字样，这样能够迫使你集中精力，避免徒劳的测试，拒绝个人偏好，而且万一高管人员兴起之下提出意义不明的设想建议，你也可以藉此回绝。
请记住，你能够测试任何创意方案，但并不意味着你需要这样做。总有更好的优化测试值得去做。
在筹谋你的测试计划时，一定也要将成果部分计划进去。你心中要一直明确实施优胜结果所需的条件，并且还要知晓如何在一切就绪时实现它。
通过这种方法，可以让你着重致力于自己有能力影响到的优化变更上，而不是辛苦得出测试成果后才突然发现，因为某些原因（法律、公司等等）这些优胜成果无法实现。
▲ 对于任何测试，都需要建立简明清晰的评判标准来界定其是否成功。
▲ 通过测试进行优化与提高、保护与留存或者了解哪些东西无关紧要。
▲ 将精力放在自己有能力掌控后续变更的测试上。
优化测试失败，或者至少感觉如此，是优化测试中屡见不鲜的现象。现在我们来讨论一下为什么我们要坦然接受这些失败，甚至还要理解如果测试没有出现失败，可能是因为你的努力还不到位。
无论你多么认定某处是个傻瓜操作，无论你进行过多少调查，无论多少家竞争者都做了相同的事，可是偏偏有时候，测试就是证明了挑战方案很失败，而且这种情况出现的频率可能比你想的还要高。
但是就算失败，它其实依旧是个非常了不起的结果，虽然这次你未能直接提升你的网站，但是你得到了机会更进一步了解自己的方案和顾客反应（图1.6）。如果你觉得某项功能或变更可能会让你的网站得到优化，而你的顾客却不认同（通过他们的行为表现而非直接交流），也就意味着你的方案设计和对顾客的理解还有提升余地。
图1.6 Grockit.com对新功能进行例行测试并发现了这样的现象：许多新功能对顾客行为没有丝毫影响。现在他们接受了测试出的失败成果，并将测试当做了开发流程的一个环节以及一种重要的学习方法。
尽管你的挑战方案失败了，何不以积极的心态接受它，将其视为一种求知的过程。通过对照测试了解到顾客如何实际使用你的网站，你至少了解了需要前行的方向。
想想测试和发掘这两项工作的往复性特征，出师必捷、无往不胜简直是不可能的事。但是偏偏许多企业会以此衡量成功，按照测试挑战成功的数量嘉奖优化测试人员。
这么做实际上是有风险的，如果太过注重成功成果的数量而非所获经验的多少，会让我们行事谨慎小心，不再活跃地尝试新的创意，将测试停留在仅仅测试已知内容的阶段。
所以我更鼓励另一种做法：不要寄望于一次就成功（也不现实）。相反，要很好地意识到测试的往复性，从你的第一个测试开始吸取经验（通常叫做第一轮），进而对你后续的测试（下一轮）进行相应调整，以此类推。
经过几次往复测试之后，你就可以收获到一些非常棒的成功方案了。不过，你也免不了会从经历的各种失败中吸取经验。
我们的直觉并不可靠：[大多]创意可能都没法如愿以偿地对预期优化的指标做出提升。
微软的测试经验显示，在测试结果中，三分之一成功有效，三分之一平平无奇，另外三分之一压根儿是失败的。
Google在2009年进行了12000次左右的测试，但其中只有10%真正带来了业务变化。
Ronny Kohavi，发布于exp-platform.com
现在我们已经知道测试其实是一个学习与调整往复循环的过程，但是我们应该测试到什么程度，才能选择放弃去继续优化测试下一个新创意？当然这里没法一言以概，但是作为指导，我建议如果经过5轮测试仍然没有见到任何改善，不如先将当前的想法搁置，转而进行新的测试。
在5次测试的约束下，你会变得更加勇于尝试，更加专注于调整优化测试，更加竭尽全力从5次尝试中最大限度地积累经验。
测试的特性通常意味着创意数量总是超过测试能力。所以一定要记住，尽管积累经验的确是一项重要任务，但终有一日我们最后的目的还是要找到真正增加效益的成功测试结果，并将其付诸实践。
正如大发明家托马斯·爱迪生的名言：“我从未失败，我只是发现了一万种不可行的方法。”经过合理设计的测试也不可能失败，即使你知道你的方案并非成功，但是你学到了知识，这种掌控感比一个创意更有价值。
在你的方案被证实失败后，确定这些失败败而有因是非常重要的。否则你观察到的可能不过是随机的噪音，而测试方案本身可能并没有真正产生任何影响。
从最差的角度考虑，如果你还无法完全确定测试方案是否比对照版本更糟糕，你可以先停止测试。否则，如果错误的结论导致你学习到错误的经验，对未来的测试会造成更恶劣的影响。
但是也不要畏惧！有一种叫做“可信度”的概念能够帮助你做出这种艰难的决策。我们将在第7章详细讨论。
▲ 勇于接受测试的失败并吸取教训。
▲ 不要寄希望于一次就成功，但是要知道何时放弃。
▲ 确保败而有因，避免优化测试失败后学习到错误的
经验。
[1] 译注：Steve Krug，网站可用性咨询专家，著有《点石成金：访客至上的网页设计秘笈》、《妙手回春：网站可用性测试及优化指南》。
[2] 译注：人因国际，Human Factors International，全球最大的可用性咨询公司，为客户提供具有高可用性的网站、 应用软件以及企业内网的创建和设计咨询服务。
导致测试失败的原因常常出现在时间耗费之上，我们花在讨论上的时间、计划上的时间、开会讨论进展的时间，几乎将测试拖延得无法在合理时间内立即执行并收获经验。接下来我们就继续讨论一下这些
问题。
快速执行，这对于测试成功至关重要。你推进测试的速度越快、数量越多，学到的经验越多、成功的概率也越大。任何原因造成的拖延对你来说都是损失。
尽量缩短时间，促成创意形成，尽快落实测试。聚焦有效推动事情的进度，跳过可能造成拖延的工作。
在测试的问题上没有完美，不要将目标直接定位到完美的级别，我们只需要能够充分支持测试启动即可，剩下的事情在测试过程中再继续发掘，继续提升。
对于小型项目，从你能够在两周内执行的测试入手，接下来逐渐发展为每两周进行一次测试。如果开会讨论测试事宜的时间比直接执行测试所需的时间还长，不如直接执行。
一旦测试时间可能超过两周，可以考虑将其视为大型项目。这样一来，很快你便能够自然而然地专注于提高每一点可以改善的小内容。这是一种好习惯，大型项目通常涉及太多痛苦的流程，容易出现前序工作费力、耗时、没结果，接下来再花时间去研究哪里出了问题，如何进行修正。与其如此不如尽早执行测试，未出结果而先行修正可能越改越差。
准备及开展小型测试需要的时间比较短，但这并不意味着小型测试只能局限于小型创意。本书中后续章节我们将会讨论更多关于细节变更（完善设计）与较大变更方案的话题。
我们也不能完全忽视大型项目，大型项目也有特定的作用。有时候你必须为测试一个创意做许多工作。遇到这种情况也无须回避，找到一个平衡点，这样可以专注于必要环节上所需的时间。
测试得到的结果和测试的成熟程度会让你逐步了解到哪些是需要你专注对应的地方，不过根据经验，建议不要在一项大型项目中涉及10项以上的测试。
着重测试那些影响到较多客户的变更方案，这样能够保证你提升的意义更大，而不至于让自己偏离到边缘化环境中。同时，针对主流群体测试也意味着数据汇集能够更多、更快，这也就能够更快地得出结果，得到更多的优胜方案。
在设计与搭建测试时的确要以完整性为目标，但是也需要认识到完整性的问题不一定能够体现在如此灵活的测试中。
如果你只是为了应对比例非常小的一部分顾客（例如，为IE6进行优化，或者优化一种罕见的用户操作流程）实际上都是在为你的测试拖后腿。所以，尽量绕开这些边界化的环境（或者接受它们的影响较小），进行测试，证实价值，找到最优结果，进而指导例行工作。
你所设的目标及情景设想都需要得到高度集中的关注，这便需要让测试的辐射范围足够广，最大限度地捕捉受众流量与访客中的潜在机会。对于那些可能导致你错失许多访客、对机会造成局限性的情况要尽量避免。举例来说，如果测试针对的仅仅是极小的商品范围或流量极低的网站区域，那么你要仔细考虑一下是否能够对更大的范围使用相同的情景设想。
测试的受众范围越大，优胜方案产生的价值越多。
在测试的初期，你会发现可以对你的访客人群进行细分，例如新访客与回访访客，不同人群对相同体验的反应也不尽相同。
继续将目标定位到顾客中的主流人群与价值人群。在测试项目的成本开销方面，也要确保将定位人群置于首位。
▲ 专注于小型项目（但并不局限于小型创意），同时也对较大型项目保持关注。
▲ 测试目的是逐步提升而不是一次性完美。
▲ 尽量缩短准备阶段的时间和启动新测试的时间。
▲ 重点实施覆盖网站主流访客的优化测试。
在进行测试的过程中，对测试的掌控力非常关键。让我们看一下有哪些方法能够保证你的测试处于掌控之中。
优化测试对于网站设计的传统方法而言是一种文化变革，因此在你试图推行测试概念时也难免遇到很多阻力。如果在交流的时候能够表现出测试是在掌控之中的，这会有助于减少你所面对的阻碍，也能够让大家更愿意参与进来。
将测试置于掌控范围内还能够确保你不会在测试方面产生过多损失，一旦出现测试状况不佳的情况，你能够迅速发现并将其中止。此外，它能够保障你最终看到的结果真实可信赖。
毋庸置疑有时测试存在成本耗损。这点一定要对高管人员事先说明。无论你对设计、顾客、业务多么了如指掌，测试总会涉及到成本，甚至有时测试结果并不能真正带来有价值的提升。不过，任何损耗都是可控的，而且这些损耗出现不久你就应该能够有所察觉并且及时
中止。
测试好似淘金，你没法第一时刻甚至每时每刻都找到金子，但是当你一旦有所收获，你获得的回报完全足够弥补多次的损失。
如果你的公司无法承担测试成本，建议也不要开展测试。不过，如果没有“舍”，也必然没有“得”。损失只是暂时的，当你通过测试结果找到优胜方案，你获得的收益将影响长久。
以下会介绍一些你对测试进行控制时所需的方法，以及如何在测试表现不佳、开始出现成本耗损时做出快速响应。
启动测试前一项最基本的要求，就是你能够保持关注及理解测试时时刻刻的表现。许多服务工具[1]通过精要报告板（Dashboard）预生成了测试的数据报告（图2.1），但是如果你不经常查看，精要报告板也就失去了价值。我们最好对测试的发展情况时刻关注，不要将它弃置一旁放任自流，而是要保持观察。
图2.1 时刻关注测试效果。
要注意，对测试效果保持关注的目的是在测试向不良方向发展时能够及时遏止，如果无法做到这一点，时刻盯着测试效果也没有实际用处。一旦出现问题，及时发现快速解决，不要等到像网站发布之类的例行维护时再中止测试。
尽一切可能用最简单、最快速的方法撤销当前的测试，如果你不在场，也要同他人及时交流如何处理。大多数服务工具都提供了中止功能，但如果你使用的工具无法实现，可以将工具的代码用<div>层包起来，并且给它取一个具有标志性的名称以便查找，这样你就可以在出现问题的时候把<div>层隐藏起来，或者直接将代码删除掉。这种功能我们称为“一键终止”。
如果你的测试是并行的，要确保不同测试的变量不会互相影响。举例来说，假设你正在同时进行两种测试，一种是白底黑字的样式，另一种是黑底白字的样式，处理有误可能会令访客看到白底白字的情景。这样就造成了一些干扰性的负面效果，测试结果也会产生
误导。
对照环境：用于对比测试推论结果的参照标准。
——牛津词典
与此类似，如果你的测试是延续性的，那就要保证你使用的对照环境是处于前面优胜方案实施状态下的。试想一下，你在网站的商品页面上得到了一个测试优胜方案，在等待IT部门将其付诸实现这一期间，你又在相同页面上发现了另一个不太相关的优胜方案。你不确定如果没有第一个方案的影响是否还会出现第二个方案的成功，因为第一个方案影响之巨大很可能恰好为第二个方案创造了成功环境。如此一来，保持一个贯穿测试始终的对照环境能够加强测试的可信度，见证测试是否真正产生有益影响。
在可能的情况下，要留意任何可能影响对照环境的外部因素，在可测的情况下尽可能明确它会对测试产生的一切影响。
▲ 测试存在成本耗损，要明确告知高管人员。
▲ 时刻关注测试效果。
▲ 确保能够简单迅捷地中止测试。
▲ 了解并行性测试与延续性测试的实施法则。
▲ 注意网站测试的对照环境。
从测试起步开始，基本上你不可能一夜之间在公司里建立起测试文化。接下来我们就要讨论如何培养测试逐步成熟，渐渐地，你的工作环境可以达到一切皆可测试的状态。
让我们想想，如果我们进行的每一次变更都是经过优化测试的结果，网站会变得更好还是更差？当然，没法对这个答案断定直言，但是我敢大胆估计：你的网站一定会更加成功！
测试达到成熟阶段是每个优化测试人员所追求的目标，这意味着可以让所有的变更通过测试变得能够度量。在这里，你专注的设计是基于测试的事实结果，而不是迎合高管或顾客的喜好。
在测试达到成熟阶段前，你需要做的是启动测试，找到优胜结果，甚至还有可能需要改变公司当前的传统工作方式。现在让我们讨论一下测试达到成熟前的几个阶段（图2.2）。
图2.2 测试成熟阶段模型。
“Overstock.com一直以来将购物的舒适性奉为优质用户体验的核心要素，”Overstock.com客户价值部门主任Seth Moore如是说，“我们对待可用性并不是依靠猜测，而是对内容进行测试，让顾客通过自己的切实行为为自己偏好的内容投票。”
Overstock.com基本在很短的时间里，在世界范围内，将新产品页面布局与现有页面布局进行了对比测试，并因此提高了转化率和平均订单价值。为了监测到包括页面内容、分类等多种不同布局的效果，Overstock.com采用了并行性多变量测试，对一系列网站购物场景进行了分析。此外，他们还对促销标题进行了类似测试。
——Sitespect公司：Online businesses doing more with less in an uncertain economy via web optimization technology。
现在开始，立刻测试，验证你的投资回报率（ROI）。想要在企业中开创测试文化，唯一的入门途径莫过于立刻行动，在你得到一些测试结果之后，后续的交流也会变得更加顺利。选一些容易的测试入手，找到一些问题去修正。当你的测试结果显示出价值，你便将优化测试成功提上了公司议程。
ROI：一种用于评估投资实效的效果类度量。ROI的计算方法为投资收益除以投资成本的比例。投资回报率的计算方法（也就是定义）可以根据实际情况灵活调整，这取决于你选作成本与收益的内容是什么。在使用这项指标时，一定要确保了解计算它的因数都是什么。
——Investopedia（投资百科）
别担心第一批测试结果是否失败，就算失败，也证明你通过防止网站上出现这样负面的变更而为企业节省了成本，它同成功结果一样具有说服力。
此外，无论测试结果成功还是失败，如果你的测试对象是一项非常简单的小变动，简单到公司里所有人都能明白，那你的测试效果就更好了。这会帮助你让大家意识到任何变化都可能波及盈亏，甚至有些人们不曾留意的小变化都同样如此。
你已经经历了起步阶段，现在的目标应当是进一步提升测试深度、加强学习、强化能力、提高技能、拓宽视野。划分好测试的优先级，一批测试常常会连带更多的后续测试，也会涉及更多的业务范围。
在一些公司这个阶段可能会相对短暂，大家能够很快接受测试并且将其视为一种优先性工作。但也有一些公司会让这个阶段更加漫长。
在此阶段，建议你专注于提升业务的回报价值，力争进入下一阶段——一切皆可测试（图2.3）！
图2.3 今天在你使用Bing.com的时候，你已经参与了必应十多个并行测试
到了成熟阶段，测试会成为高管人员的首选方案。涉及修改页面的业务基本上都会通过对照测试。如果你成功抵达了这一阶段，那么恭喜你，你已经置身于非常优良的环境中。
没有完美的测试项目。总有能够提升的事物，总有可以做的测试。就算是行业中的佼佼者、测试界的大师，例如eBay、Amazon、Google、Microsoft、Etsy（图2.4）和Netflix等等，有时也没法测试一切。
这里我们不要太过重强调完美，而是要建立一种文化：不断提升、摒除欠佳的设计选择、尝试新的创意和挑战、通过优化测试竭尽所能地获取成果。
图2.4 Etsy.com通过A/B测试尽可能地在产品发布循环中进行测试，任何新功能或设计变更都会进入例行测试。
▲ 从做简单的优化测试开始，验证ROI，逐渐推动大家接受。
▲ 努力测试，加强能力，致力于促成一切以测试为核心的文化。>
优化测试是一种持续性的工作，如果你的情景设想验证无误，接下来要做什么？我们要准备好对应成功或失败的结果，尽快推进下一轮的测试。下面，我们将讨论如何持续进行测试。
让测试的日程开放、灵活一些，让靠后的测试有可能提前。如果长期测试的日程不留余地，会导致调整空间不足，学习机会也从而降低。
只因为你曾经提交过测试申请而必须继续执行某项测试是极其糟糕的事情，这会致使你不得不暂缓一项近期你认为极富潜在价值的
测试。
在你开展一项测试时，也要考虑一下如果当前这项测试如愿以偿成功了，接下来该测试什么，如果不成功又执行什么计划。尽管我们很难看清再往后的情况，不过一项理想的测试规划会根据你当前测试的结果为你指明下一步的方向。
提前计划好下一步的方案，这样有助于你更加专注于应对自己获知的事情，更加省时省力，还能够降低一旦出现不良测试时损失的机会
成本。
将这些测试当做连续不断的海浪，一波接着一波，你正在做的测试是第一波，后面还有绵延而至的第二波、第三波……
一旦测试得出了成功结果，很自然你会迫不及待地想去进行新的测试。但是千万不要就这样忽略掉这些成功结果，无论是谁都无法一次性做到完美。
我们要让好变成更好，榨干这个转化过程的最后一滴价值。也许轻轻一点施力就能让一个“好”测试变成一个“精彩绝伦”的测试。
这里想强调的是，测试出的成功结果不是结束而是开始。一定要明确在心，这轮测试之后还有绵延不断的新一轮测试。在测试第一轮时要已经考虑到第二轮，开始第二轮测试时就要考虑到第三轮，以此类推，同理亦然。
别在自己的佳绩上止步不前，要放空心态，再次开始。千万别因为前一次的测试出师大捷就为了一个已经起效的成果而放弃更多新创意的测试。
不要跌入这种陷阱，随时准备好挑战不同的方案，去尝试打破极限。你可能会发现你原以为完美的方案其实压根儿不够好。就算没有新的方案再度超越，那也挺好，至少到现在为止，上一个方案成功的可信度更高，不负所望。
在测试与优化持续进行的过程中，有时你也可能想到回顾一下曾经做过的测试。往期测试出的成功结果的确是你会保留的，但是对于其他曾经的备选项，偶尔也可以再给它们一次机会。
网络处于飞速变化之中。新的设计标准竞出流行，顾客期望迅速转变，你所处的线上竞争环境也日益激烈。随着测试在网站上不断推进、辨识出可度量的差异性、找到更优的方案，你的网站也在逐渐进化。
一项在过去某时并不适用的测试方案，可能因为这一段时间以来你在网站上进行的变更为它铺平了道路，使其得到支持、获得关注，或者变得更加和谐。于是此时，它反而准备好成为新一轮的优胜方案。
我们可以时不时地为这些过去的测试清清灰（尽管你难免想要保留原来的战果），为那些一度很特别却又最终未能胜出的方案再一次提供机会。也许现在它已经就绪，又或者你从其他针对新观点的测试上总结了经验，能够对其相应调整并最终推动它成为优胜方案。请牢记，测试也是一门手艺，像任何手艺一样，做出最好的东西总是需要耐心与练习。
随着测试进行，你可能想要对一个优胜结果进行多轮测试来验证它的优势性，一方面可能是出于自己的期望，另一方面也可能是受到其他因素的挑战。重复性测试是科学的标志。在周边环境变化很小的时候，多次重复测试能够帮助你产生更丰富的想法，也对你所依据的经验更加信心十足。
但从另一种角度来看，验证性工作过多也会成为一种测试障碍，并且会拖慢进度。我们需要在这之中找到合理的平衡点，你需要能够在这里作出决定，继续进行下一项方案。
要记得，你随时都可以依据以前的对照环境进行逆向测试，“撤销”优胜方案，使其不再产生积极影响，这样可能你会很快看到与此相反的结果，从而证明这种方案的价值所在。
测试不是一种招之即来、挥之即去的东西，你不能仅仅在来感觉的时候才垂青它。抱歉，这种说法又有些老生常谈，不过，你真的需要重视测试，要依赖它，要感受它。
每一天，都想想有什么可以测试，怎样可以做得更好，你学到了什么，某个概念、方案为何成败。像对待未来之星一般仔细思考每一个创意，做到足够公正，足够重视。
不要让任何事物成为优化测试的阻碍，无论是工具、流程、方法还是协作成员。
每个测试都是一个全新的起点，并且它只有更好，没有最好，永远没有完结。
▲ 对测试保持开放、灵活的日程安排。
▲ 不要止步于优胜方案，要持续提升。
▲ 偶尔回顾前期测试。
▲ 考虑让测试成为习惯。
优化测试需要正确的心态导向成功，接下来我们讨论一下最基本的两项要素：勇气与责任心。
大多数公司在测试的起步阶段，都会选择一些规模和风险性相对较小的测试来试水。但是相应地，这些测试的作用也比较小，有时候甚至无法产生任何可以指导行动的结果。
所以放弃试水这码事吧，你需要全身心投入进去。去挖掘并且测试网站上最大的问题，去验证业务中最大的假设。
将测试根植为一种文化，要有勇气，要应对重大问题，让测试成为前进方向中一个明确的坐标。
坦白说，界定清楚谁对测试负责非常重要。一项没有划分好权责的测试项目很容易产生缺乏公信力的数据，产生混乱的结果甚至半途而废。
其实细数之下，优化测试人人有责，这也是保证测试成功的要素。公司中所有的环节部门（品牌部门、营销部门、用户体验部门、研发部门、信息技术部门等等）都需要对测试给予支持，参与结果挖掘，并且共同致力于培养优化测试，使其日臻成熟。
来自于公司各处普遍性的参与能够帮助你建立一个优秀的创意专长汇集池，能够保证测试不会像小作坊加工物一样仅仅局限于公司的局部圈子或陷于一家之言。当你将整个企业中的各处优势整合起来，你会得到更有价值的结论。
每个测试项目中还是需要一个牵头人对所有相关测试负责，由此人来决定何时进行、何时中止、何时实际执行以及何时放弃。每个项目都需要有人能够带头挑战最大的假设情景、找到最大的机遇、确定优先级、全力以赴地做好测试。
如果没有牵头人，测试很容易陷入组织混乱或者受到各种影响。例如，对测试掌控不足、良好的情景设想建立在极差的解决途径之上、测试计划未曾以业务目标为焦点等等。这样一来大家都无法对测试建立起信心，你也永远没法推行测试文化。在最差的情景下，可能会出现测试严重影响到网站及顾客的悲惨结局。
如果你现在还没有指明测试牵头人，那么不如从今天开始，指派你心目中的这个人对测试负责，并支持他完成未来的测试挑战。
只有到了实际执行这步，优化才算真正起到了作用。许多测试项目的失败都是因为测试结果被分析人员当做了一种建议而并未真正执行。因此，对于测试的责任心不应止于测试结束，不要让测试变成建议，而要真正负责让这些测试出的优胜方案投入实际执行。
如果你有权限采取变更，那么你就自己来负责，这样在你找到测试的优胜方案后就可以将它们直接付诸实际应用（图2.5）。如果你没有权限，这会是个不小的挑战。在第8章，我们会详细讨论如何展示与交流测试成果的价值从而推动优化变更。
图2.5 Mark Zuckerberg在Facebook办公桌上的标语：“保持集中，贯彻执行。”
▲ 测试需要准备好勇气，敢于挑战，准备好解决大问题。
▲ 优化测试人人有责，但也需要一个牵头人。
▲ 一定要负责实际执行，贯彻到底。
[1] 译注：服务工具，Vendor tool，指经由厂商直接包装好的工具。通常与开发者工具相区别。
