您还未登录! 登录 | 注册 | 帮助  

您的位置: 首页 > 软件测试管理 > 其他 > 正文

软件测试的why和how

发表于:2018-06-15 作者:Lin Wait For Li 来源:网络转载
  你为什么应该测试你的软件?你应该如何测试软件?
  有些人对这些问题有非常简单的回答。及时享乐型的程序员根本懒得去测试,快乐地活在当下。更严肃的程序员会告诉你软件测试是为了开发出高质量的产品。为了可以开发出高质量的产品,必须始终编写单元测试和集成测试,并做 QA 测试。忽略这些,你的代码将会掉入 bug 为患的深渊。
  尽管我更赞同第二种观点,但我认为这不是一个完美的答案。考虑到不同的软件项目的差异,一套答案似乎不可能适合每个人。
  你可以用什么样的测试方法?
  首先,我们考虑下可以使用的不同测试方法。下面的代码是测试吗?
  def test_add():
      assert add(2, 2) == 5
  我会说,是的,那就是一个测试。从函数名上可以看出来。这个测试证明了函数add() 做了什么:对两个数字做加法,然后将结果返回给我们。
  你一定注意到了,这个测试是错误的。幸运的是,我们的开发过程有另一步骤:代码审查。亲爱的读者,你可以作为一个代码审查者并告诉我,我的代码是错误的,2加2是4,不是5。
  代码审查是一种测试方法吗?如果你试图验证你的代码符合规范,那么这就是一种测试。你大脑中有算术规范(”2 + 2 = 4″),你就会检查你的代码是否符合这个规范。
  让我们把代码审查和自动化单元测试都做分别作为一种测试方法。尽管他们都是测试,他们也非常不同。他们之间的主要区别是什么?
  测试的一种方法是自动化的,另一种是由人类完成的。
  自动化测试是连续的和可重复的,你可以这么写:
  def test_add_twice():
      for i in range(10000000):
          assert add(i, i) == 2 * i
  计算机将会每次运行完全相同的代码,该代码将会确保函数 add() 对于这些特定的输入返回特定的输出。人在手动验证一千万种不同的计算时会遇到一些困难:无聊、分心、错误、迟缓。
  另一方面,人类在阅读这个代码时,会告诉你这是bug:
  def add(a, b):
      return a + b + 1
  计算机所做的事情,无论是好是坏,人类都能明白他的意义。只有人类才知道软件的意义是什么。
  现在我们可以按照使用的方法来对测试进行分类:人类测试意义,自动化测试确保一致性。
  你为什么要测试软件?
  接下来,让我们考虑测试目标。
  测试软件的第一个可能的目标就是确保它符合规范。这个目标是大多数程序员在讨论测试时想到的:它涵盖了单元测试和手工测试,它也包括代码审查。你的软件具有某些必须的功能、规范,你想确保它在现在和未来也确实是这样的。
  一些需求是高层次的:一个在线商店想要顾客可以订购他们添加到购物车的产品。其他需求是低层次的实现细节,只有程序员感兴趣。你可能想要函数 verify_creditcard() 接收信用卡号码作为字符串,然后如果信用卡是无效的,抛出一个 InvalidCreditCard 异常。
  所有的这些需求都是规范,他可以被写的非常详细,也可以是头脑中的一个概念(如 2 + 2 等于 4 )。无论如何,你测试你的软件是为了确保它做了它应该做的事。
  然而,有时测试也可以有不同的目标。在 Eric Ries 的书《精益创业》中, 他提到编写软件后却发现没有人真正想用它的问题。如果没有人使用你的软件,花费了大量的时间去测试,确保你的软件满足规范就是浪费时间。
  Ries 认为你首先应该搞清楚一个产品是否会成功,通过测试他称为的“最低可行产品”是否拥有潜在的用户和客户。这是一个与众不同的测试形式:它不是验证你的软件是否满足规范,而是学习你以前不知道的东西。
  软件测试第二个可能的目标就是为了获得知识。让我随着这个目标看一下另一种测试形式。“A/B测试”就是你使用两个变量,然后看哪个变量产生更好的结果。或许你正在测试重新设计的网站:你给 90% 的访客展现你目前的设计,10% 的访客展现你的新设计,然后看哪种会让你的产品有更多的用户注册。
  注意,你有两套规范,并且已经实现了他们。测试的要点就是找到哪种规范更好,学习一些新的东西,而不是验证实现是否符合规范。
  现在我们已经知道为什么你需要做测试:要么验证你的实现符合规范,要么获得新的知识。
  你应该如何测试软件?
  结合我们提出的那两个目标(获得新知识和满足规范)和两种测试方法(手工测试和自动化测试),你会得到四种不同的测试形式,每种都会有更详细的测试目标。
  对于你特定的需求和情况,你必须选择一种合适的测试方式。让我们逐个介绍这四种测试类型,看看每种测试类型应该在什么情况下使用。
  理解用户
  用户会购买你的产品吗?
  一个设计的改变会带来有更多的注册吗?
  用户会理解你的软件是如何工作的吗?
  这些问题都无法通过对比你的软件是否满足规范来得到回答。相反,你需要经验知识:你需要观察当你的软件展现给用户时,用户真正做了什么操作。
  相关的测试技术包括:
  可用性测试
  最低可行产品测试(《精益创业》)
  A/B测试
  理解运行时行为
  你的软件在负载下的表现如何?
  你的软件有资源竞争吗?
  当有非法输入时,你的软件是否会崩溃?
  这些问题不能总是通过比较你的软件是否符合规范来回答。一旦你的软件足够复杂,你无法完全理解或者预测它的回应。你需要观察它的实际运行来理解其行为。
  相关的测试技术包括:
  压力测试和浸泡测试
  从产品日志中收集异常及跟踪信息
  功能的正确性
  你的软件是否真正符合规范?
  你的软件是否做了它应该做的事?
  很容易可以看到,自动化测试可以证明这些,但是请记住检查2+2等于5的单元测试。在更基本的层面上,软件可以在技术上满足规范,但是不能达到规范的目标。只有我们理解规范背后的含义,然后才能确定软件是否达到了目标。
  相关的测试技术包括:
  手动用户界面测试(如:QA人员使用您的网站)
  代码审查
  功能的稳定性
  对于同样的输入,你的公开接口(API)是否总能返回相同的结果?
  你的代码是否提供了它应该提供的保证?
  人类很不擅长测试这些情况。人类非常容易忽略小的变化:如果一个按钮从“Send Now”改变为“Send now”,你可能根本就不会注意到。相反,如果你的接口从sendNow() 变为 send_now(),或者返回值的类型有轻微变化,你的软件就会崩溃。
  这意味着一个公开接口,尤其是其他软件依赖的接口,为了保证正确性必须要稳定。当你不断更新你的测试时,为改变频繁的私有接口或者代码编写自动化测试,将会导致非常高的维护成本
  相关的测试技术包括:
  单元测试、集成测试和其他类似的自动化接口测试
  自动化用户界面测试(如:网站的Selenium测试)
  编译器检查和静态检查
  模型的应用
  那么这一切有什么好处呢?
  选择如何去测试
  首先,我们最初的目标:基于你的目标,这个模型可以帮助选择测试形式。
  考虑一个新建立的产品,不确定什么样的人愿意使用这个产品。自动化测试的重点在于确保代码符合规范,因此在搞清楚用户真正的需求之前,编写自动化测试用例可能是浪费时间。
  精益创业(Lean Startup)是一种可行的替代方法,它的目标是找到什么样的产品可以满足用户的需求,它侧重于实验或者尝试。这意味着专注理解用户这个象限。一旦选定了产品,你就可以花费时间在确认“最低可行性”之外的地方,比如投入更多的资源保证软件功能的正确性和稳定性。
  辨别你是否选择了错误的测试类型
  第二,当你选择了错误的测试类型时,这个模型可以帮你改变航向。比如假设编写税收软件(细节源自一个真实案例),他们为他们的web界面编写了Selenium测试,与此同时他们的web界面做了重大的改变。
  即使做了测试,他们的程序依然是有bug的,每次改变界面这些测试用例就不能使用了。测试似乎没有提升质量,但是它浪费了开发者的时间进行维护。他们做错了什么?
  这个问题就是他们的系统实际上有两部分:
  税收引擎相当稳定,税法每年只改变一次。对于用户来说税收引擎中的错误是一个主要问题,对于开发者来说不兼容的接口改变是一个问题。这表明需要稳定的功能测试,比如针对税收计算引擎的单元测试。正确的功能可以通过代码审和查税务会计的反馈来保证。
  基于web的用户界面。UI界面频繁的变更,这表明稳定的功能测试现在还不是目标。现在的目标是功能的正确性,所以UI界面应该进行手工测试(比如:当程序员写代码时进行测试)
  讨论测试的基础
  最后,这个模型提供了一个共享的术语,这个术语可以帮助你在广泛的意义和不同的目标下讨论测试。
  可以不必再对手工测试和单元测试哪个更好进行无休止的争论,从这个模型中可以非常清楚的展示出他们之间的差异。
  你还可以与公司的其他部门(如市场营销)讨论测试,这会是一个非常不同的测试视角。
  总结
  你为什么要测试你的软件?要么获得知识,要么满足规范。
  你测试软件的方法有哪些?手工测试或者自动化测试。
  你应该如何测试你的软件?根据你特定的情况,选择相关的测试形式,如理解用户、理解运行时行为、功能的稳定性、功能的一致性。