“我们做了测试了，然后失败了。”
　　这个说法在A/B测试的世界中出现的频率那是相当的高，但它忽略了一个事实，一个概念本身与概念的执行有着本质上的不同。想法经常随着时间重现。一个以前失败过的人往往被贴上失败的标签，他们永远不会走出新的大门。
　　是的，我想到多年以前…虽然做过尝试，但没什么卵用。
　　如果不检查，这种快速击倒的心态可能是有害的。因为 Booking.com 已经进行了大约十年的A/B测试，有时似乎一切都已经尝试过了。虽然我们做了很多，失败了很多次，并且也赢了很多次，但对于客户在我们网站上的体验，依然有很大的改进空间。这是为什么我对这种无情的陈述的反应通常是，“好吧，那么…你到底试过什么，多久之前试过的？”
　　他们的A/B测试是否以类似的方式接近整体思路，提出新的方法？如果是，它运行了多长时间？它是如何影响用户行为的？他们能否110％确定在其实施中没有引入错误或可用性问题？
　　失败总比成功多。
　　当我听到一个坚实的概念失败时，我会有一个问题列表。这个列表源自我的经验，导致失败的方式比导致成功的方式多得多。
　　这种说法是相当悲观的，并有充足的理由。我已经做了足够多的A/B测试（从生成初始概念到从坚实的技术角度实施它），以掌握可能导致好主意消失的运动部件的数量。
　　一个细节上似乎“无关紧要的变化”或一个难以识别的设计缺陷可能产生的负面影响，足以抵消你的改变可能造成的积极影响。
　　这里有一些可以使好主意失败的具体例子：
　　由于不太理想的技术实施，增加了页面加载时间
　　你添加了一些大图片，重CSS，或一些表现不佳的JS？你有没有注意到任何可能出现的新错误？
　　密切关注所有重要的网站统计信息，因为对用户的“不可见”更改与内容和视觉更改一样重要。
　　关键元素上的颜色，字体或字体大小选择有误
　　重要的信息足够醒目和清晰吗？
　　即使是像把字体用错地方这样看似无关紧要的事情也可能产生负面影响。
　　与页面上其他内容相关的功能项的大小或位置不正确
　　你添加或重新设计元素时是否注意了页面上的另一个关键元素？你是否删除了其他内容来为新功能“留下空间”？
　　你无法在网页上添加，删除或更改任何内容，而不影响用户与其他内容的互动方式。设计师倾向于密切关注他们正在做的新东西，但忘记了他所改变的元素周围以前是什么样子的。
　　时机不对
　　你实现了在一定时间后消失的工具提示吗？你添加的内容在一年的某个特定时间内是否有意义？
　　显示某些类型的信息太早，太晚，或者没有给人足够的时间吸收内容有时可能与你预期的效果相反。
　　边缘情况下的错误
　　在较少使用的浏览器或设备中是否存在渲染问题？它只是在平板电脑上可用，但是当它出现在桌面上呢？如果网站是多语言的，全部都翻译正确并正确本地化了吗？
　　如果足够多的这些边缘情况组合在一起，它们的累积效应可能是负的。然而，这是全面的A/B测试框架的好处之一！你可以使用分析来查看潜在的用户代理，浏览器类型和测试失败的/地区。每个用户都应该在你的网站上有一个良好的体验，并解决你在数据中识别的这些问题可以推动结果超越边缘。A/B测试可以帮助确保每个用户的高品质。
　　做出与原始概念没有内在联系的大的，小的和/或不必要的改变，可能具有意想不到的后果
　　你改变了一行文字，是否同时也使字更大/更小或添加了新颜色？
　　如果是这样，那么你污染了你测试的概念。我已经看到字体大小略有增加，而测试颜色变化导致坚实和可重复的概念失败。
　　嘈杂的跟踪
　　你是否正在测试新流程或不同的互动？你要添加或更改的内容是否会立即显示在网页上？
　　仅在用户实际受到视觉变化或与包含不同行为的元素交互时跟踪用户。如果你跟踪的人没有看到或使用你测试的概念，那么他们成为统计噪声并稀释结果。跟踪中有太多噪音的话，你无法听到用户尝试告诉你的内容。
　　谁是受众？
　　谁会看到这种变化？它暴露给所有的访客吗？对来自电子邮件的访客将看到什么会设置一定的期望吗？他们是来自付费广告还是自然搜索？他们是否直接输入了网址？他们是新访客还是回头客？他们以前曾经购买过吗？
　　客户的进入点及其对网站的历史使用会影响他们如何与内容进行互动。你能够将讯息定位到相关的用户越多，你越有可能创建有意义的互动，使指标移动。
　　低流量你的测试是否只对一小部分用户暴露了比较微小的变化？
　　要在低流量网站上得到统计显著的结果，你的更改需要更大，更大胆才能看到效果。换句话说，你的想法可能实际上有效，但你只是不能看到它的统计数字。你所做的更改的大小需要与你拥有的流量有关。
　　超前的想法？你什么时候测试这个概念？一段时间过去了，但问题还没有解决？
　　没生效的可能会在明天有效果，昨天有效的可能会把你带回到。
　　我们设计的产品必须像设计产品的人一样动态。
　　人是动态的，他们的期望随着他们和他们周围的世界的变化而变化。这是为什么我们设计的产品必须同样动态。
　　设计师可能倾向于引领潮流，因为我们实时关注着发展脉搏。设计趋势，新的 HTML 和 CSS 技巧，以及奇特的技术集成可能看起来很酷，但大多数时候，我们的期望与典型用户感觉到舒适的差别很大。
　　我们正在设计的产品是为了正常人的使用。
　　我总是试图提醒自己，我正在设计产品为了正常人的使用。
　　去年不习惯滑动手势的人可能期望今年看到他们。几年后，随着硬件变得越来越强大，过去引发浏览器崩溃的风骚的几行代码可以解决这个问题。
　　这些只是我在设计数据时遇到的常见的几个问题。
　　这是为什么对你所测试的概念有一个高段位的深入理解，对系统的复杂性，以及无瑕疵的实施解决方案的牢固把握，是一个想法终成功（或失败）的必要条件。
　　以下是在你设置下一个A/B测试时要记住的一些事项：
　　1、记住仔细地通过复杂性来检验你的概念的重要性。
　　2、结果，无论是积极，消极或中立，可以帮助形成相同概念的未来迭代，或可以为你提供对待测试的新假设的洞察。
　　3、保持自己对质量的高标准，即使在容易的情况下。
　　4、每个A/B测试，无论大小或范围，应该得到相同的关注。
　　5、理解一个负的或中性的结果不一定意味着“不”。这些结果也可能意味着“不太对”或“还不完全”，你测试得越多，你越能发现“不”实际上意味着“不一定”。
　　等等！还有更多…
　　然而，有时，一个概念是如此强烈，它可以生存，即使在糟糕的情况。我相信你已经经历了主要网站上的特性或功能的例子，这些功能非常有用，但缺乏视觉细化和/或有一些不幸的可用性问题。这往往导致我有一个面对的时刻。
　　有时拙劣的实施会阻止一个好主意的成功。相反，一个好想法可以成功，尽管执行不好。
　　所以，是这两面。有时一个糟糕的执行阻止一个伟大的想法成功，但有时一个伟大的想法会成功，尽管实施很随意。
　　“平均”和“例外”之间的区别让数据驱动设计师意识到“概念 ≠ 执行”。