测试人员竞相看看谁打开了更多的漏洞,这很好吗?


54

我是软件开发人员。有一组测试人员,他们遵循并运行由分析师编写的测试用例,但也执行探索性测试。似乎测试人员一直在竞争,看看谁可以打开更多错误,而且我注意到错误报告的质量下降了。除了测试功能和报告与软件操作有关的错误外,测试人员还提交了有关屏幕增强,可用性或愚蠢错误的错误。

这对项目有好处吗?如果不是,我(作为软件开发人员)如何尝试改变测试人员团队的想法和态度?

另一个问题是,由于截止日期是估计的并且无法更改,因此随着截止日期的临近,测试人员将争先恐后地完成他们的测试用例,这将导致测试质量下降。这将导致合法的错误出现在客户端收到的最终产品中。

OBS:此竞赛不是公司的惯例!这是仅由他们组织的测试人员之间的竞赛,没有任何奖项。


3
测试人员在构建之前是否参与其中?这意味着他们参与制定需求或用例或用户故事,审查设计文档或参与代码审查吗?测试人员归档的报告是否良好,是否进行了检查以确保报告有效和完整?如果您可以编辑问题以详细说明测试人员的角色/职责以及如何管理他们的报告,那将有助于我写一个好的答案。
托马斯·欧文斯

35
竞争不一定是坏事,但与激励措施结合使用可能会产生不利影响。这个问题使我想起了《每日WTF》上的一个故事,在该故事中,测试人员与开发人员合力创建了额外的bug,然后可以英勇地发现它们。有趣的阅​​读。不要重蹈覆辙。
阿蒙2015年

6
您的观点是正确的,但顺便说一句,当有人告诉我我的工作存在可用性问题时,我表示感谢。这是软件中最难实现的事情之一,也是拥有最有价值的东西。
jpmc26 2015年

9
我来自一个经过长达一年多的精心QA计划的项目,我可以说,尽管元素或不同颜色符号之间存在太多空白的缺陷似乎意味着没有效果,但它们最终会改善用户体验,通常可以提高生产率,减少技术支持的负担,并为应用程序提供更专业的外观和感觉,这些都是理想的特性。而且,是的,有时软件会因此而延迟,但是付出的代价通常是值得的。
phyrfox 2015年

9
大量答案表明测试人员的工作是发现错误。这种心态就是导致您发现问题的原因。质量保证的工作是准确确定产品是否符合规定的质量标准。我不在乎测试人员是否在生成错误报告;我关心测试人员是否针对产品质量进行准确,以客户为中心的分析。那就是应该激励的事情。
埃里克·利珀特

Answers:


87

我认为他们没有找出最多的bug参加比赛就不好了。尽管他们的工作确实是查找错误,但他们的工作并不是“查找最多的错误”。他们的目标不是找到最多的东西,他们的目标是帮助提高软件的质量。奖励他们发现更多的错误与奖励程序员编写最多的代码行而不是编写最高质量的代码差不多。

将其转化为游戏可以激励他们专注于发现许多浅薄的bug,而不是寻找最关键的bug。正如您在编辑中提到的,这正是组织中正在发生的事情。

有人可能会说,他们发现的任何bug都是公平的游戏,所有bug都需要被发现。但是,鉴于您的团队资源可能有限,您宁愿让测试人员将精力集中在几个小时或几天内,对系统进行深入调查,以发现真正的大错误,还是花几个小时或几天来跳过该应用程序,以查找印刷错误和小错误?页面上的对象对齐错误?

如果公司真的想用它来制作游戏,请给开发人员权力以向漏洞添加分数。“愚蠢的错误”得到的是负面评分,很难找到写得好的报告的错误却得到了多个评分。然后,这将激励从“找到最多”变为“做到最好”。但是,也不建议这样做,因为程序员和质量检查分析师可以一起工作以人为填补他们的电话号码。

底线:不要因发现错误而创造游戏。在您的组织中找到奖励优秀工作并将其留在那的方法。游戏化奖励实现目标的人们。您不希望质量检查分析师的目标是“发现最多的错误”,而他们的目标是“提高软件的质量”。这两个目标并不相同。


5
我认为第一件事是相似的-如果他们想将它变成游戏,那么质量检查经理(如果有)为发现的错误设置点会更好,假设该人可以被信任具有最大的兴趣。公司的想法。在这方面,他可以更好地控制比赛,并且无论您是否认为这是可以接受的,他甚至可以通过为比赛分配更高或更低的分数来任意地使比赛更加接近。(否则,如果一个人由于测试了新开发者写的东西而遥遥领先,则其他所有人都放弃了
DoubleDouble 2015年

2
即使这样,我也不推荐这种想法,因为除非您的团队成员几乎全部都完全匹配(这不会发生),否则它很快就会变得无聊。与自己竞争最好。
DoubleDouble 2015年

1
支持这样一种想法,即通过发现的错误数量来衡量QA生产率等同于通过编写的代码行(或故事点已关闭)来衡量程序员的生产率。两者都是荒谬的,但是它们始终存在于PHB的头脑中,他们看不到任何更细微的方法来量化性能。
dodgethesteamroller 2015年

您的答案与我想的一样。但是,关于测试人员水平相同的@DoubleDouble点是一个很好的考虑!
只有好奇的心

2
同意 即使我以前的质量检查工作没有固定的配额,也有一些测试人员认为,最重要的是窃听他们能找到的每一个小巧的nitpick,例如“字符的衬衫太长,大多数人会不要穿那么长的衬衫”(当角色的衬衫长度与游戏完全无关时),而不是挖掘真正的错误,例如“在对等主机游戏中反复连接/断开主机上的网络电缆会导致游戏被没收客户和获胜者将被添加到主持人的在线记录中”。
Doktor J

17

我将不同意其他答案。测试人员的“发现错误”有点像开发人员的“编写代码”。原始数量没有意义。测试人员的工作是查找可能存在的尽可能多的错误,而不是查找最多的错误。如果测试人员A在高品质组件中发现10个错误中的5个,而测试人员B在低品质组件中发现263个错误中的58个,则测试者A是更好的测试者。

您希望开发人员编写最少的代码来解决特定问题,并且希望测试人员编写最少数量的报告来正确描述损坏的行为。竞争找到最多的缺陷就像竞争编写最多的代码行。滑入游戏系统太有用了,这太容易了。

如果您想让测试人员参与竞争,应该更直接地基于他们要做的事情,这是为了验证软件是否按所述方式工作。因此,也许有人在竞争,看看谁可以编写最受接受的测试用例,或者甚至更好地编写涵盖最多代码的测试用例集。

开发人员生产率的更好衡量标准是任务完成数量乘以任务复杂性。测试人员生产率的更好衡量标准是执行的测试用例数量乘以测试用例复杂性。您想要最大化它,而不是发现错误。


3
测试人员的工作是找到尽可能多的错误,而不是查找最多的错误。如果打算在测试目标的这些陈述之间有很大的不同,那对我来说就是迷失了。
Atsby,2015年

6
因为如果测试人员A在高质量组件中发现10个错误中的5个,而测试人员B在劣质组件中发现263个错误中的58个,则测试人员A是更好的测试者。
弄死了机器人

6
@Atsby如果单个损坏的行为在10个不同的地方表现出来,那么关于实际损坏的东西的1个bug报告要比描述10个不同症状中的8个的8个单独的bug报告要好得多。
彼得斯

8
@Peteris(和Steven)都是有趣的观点,但是Steven引用的声明并没有有效地传达它们
阿特斯比,2015年

@Atsby在引用的句子中,第一个子句是一个相对语句(查找最多的bug),第二个子句是绝对语句(查找最多的bug)。这是说将桶装满90%,然后在桶装1加仑用1/2加仑装满
dodgethesteamroller 2015年

16

根据我的个人经验,这不是一件好事。它几乎总是导致开发人员提交重复,荒谬或完全无效的错误。通常,在一个月/一个季度末,随着测试人员急忙达到配额要求,很多突然出现。最糟糕的是,您还根据开发人员代码中发现的错误数量对开发人员进行了惩罚。您的测试和开发团队在这一点上正在相互配合,一个团队如果不让另一个团队看上去很糟糕,就无法成功。

您需要在此集中关注用户。用户不知道在测试过程中提交了多少个错误,他们所看到的只是解决了这些错误。用户最终不会在乎您是提交20个错误报告还是提交20,000个错误报告,只要该软件在获得报告后就可以运行即可。评估测试人员的更好指标是用户报告的错误数量,但应该由测试人员合理地捕获。

但是,要跟踪它要困难得多。运行数据库查询来查看特定人员提交了多少个错误报告是相当容易的,我怀疑这是这么多人使用“错误归档”度量标准的主要原因。


+1,但衡量标准更好的唯一问题是,它会激励人们不要改善用户错误报告系统……这个想法是正确的,但也许应该是更通用的“在官方测试过程之外发现的错误”
user56reinstatemonica8'5

@ user568458-我以为所讨论的组织有不同的团队负责内部质量检查和面向客户的支持,而这个问题仅涉及内部质量检查。如果两个人是同一个团队,那么您确实会存在利益冲突(无论是否使用我的方法)。
2015年

6

通过发现错误来制作游戏没有错。您已经找到了激励人们的方法。很好 它还显示了无法传达优先级。结束比赛将是浪费。您需要更正优先级。

很少有真正的游戏具有简单的计分系统。为什么要搜寻错误?

您不仅需要根据错误数量对游戏进行评分,还需要提供错误报告质量的衡量标准。那么,比赛的重点就在于错误的数量。这更像是钓鱼比赛。每个人都将寻找能够获得较高优先级分数的大错误。将错误报告的质量作为分数的一部分。让开发人员向测试人员提供有关错误报告质量的反馈。

微调游戏平衡并不是一件容易的事,因此请准备花费一些时间来解决这个问题。它应该清楚地传达您的目标,并且应该很有趣。您还可以根据业务需求的变化进行调整。


5

发现错误是他们的工作。只要他们没有降低效率(例如,通过打开10个错别字的ech错误,而不是覆盖其中几个错字),就会鼓励他们完全按照自己的意愿去做,所以我看不出太多的缺点。


完全同意Moot。 当然,人们可以做一些愚蠢的事情(提交100个错别字,等等),但是当人们遵循任何计划时,“人们可以做愚蠢的事情”。
Fattie

1

这是@CandiedOrange的answer的扩展。

要开始将注意力转移到更有用的目标上,请考虑一些非正式且非正式的事情。例如,开发人员可以购买一些小令牌和奖杯。

每天至少报告一个重要的错误,在测试人员的办公桌上留下“ Bug of the Day”令牌。每周一次,举行一个仪式,与一群开发人员一起交付更大更好的“每周臭虫”令牌或奖杯。使“本月的Bug”奖杯的交付更加生动,也许还附上蛋糕。每个标记或奖杯都应附有引用,说明开发人员为什么认为在测试中发现错误是一件好事。引用的副本应放在测试人员都可以阅读的地方。

希望测试人员将他们的注意力从发现最多的错误转移到收集最多的奖杯和令牌。他们这样做的最佳策略是阅读引文,并考虑哪些测试方法可能会带来开发人员认为重要的错误。

只需忽略不重要的错误报告。由于这都是非常非正式和非正式的,因此可以随时关闭或更改它。


我必须同意。一件事:不要在获得管理层批准的情况下这样做。为了使它看起来像游戏,至关重要的是测试人员必须自己了解规则。如果登录系统是高优先级问题,请让他们事先知道并放开他们。如果高流量的用例缺陷是优先考虑的问题,而不是模糊的极端情况,那么请弄清楚并解释它的评分方式。仅仅具有明确的优先级就可以使它变得有趣,并使人们在正确的钓鱼孔中钓鱼。
candied_orange 2015年

1

这对项目有好处吗?

没有。您自己指出,您观察到它导致生成的质量低下的报告没有针对所需的功能,并且测试人员最终加重了问题,从而加紧完成了实际上是“应有的”工作要做。

如果不是,我(作为软件开发人员)如何尝试改变测试人员团队的想法和态度?

向项目经理提出问题。他们应该认为这种事情是他们工作的一部分。如果您的PM不愿或无能为力,那么您就很难制定自己的应对策略。(这将是一个不同的问题)


-1

我认为,如果像这样继续下去,将会如何(或已经怎样),您不一定会得到较低的质量。虽然我认为这会降低数量质量比。这取决于这是否是一件坏事。这取决于

报告有关屏幕增强功能,可用性或愚蠢错误的错误。

是您真正不想要的东西 如果测试人员对此很清楚,我只是告诉他们不要做您不希望报告的事情,而要弄清楚。当这些报告之一再次出现时,请执行此操作。

他们参加比赛的原因可能是工作时很开心,所以他们可能不打算做不好的工作(如果认为做得不好)。


1
我绝对想知道可用性问题。我们称它们为“规范中的错误”。
RubberDuck 2015年

1
@RubberDuck好吧,如果团队100%清楚,那么有理由告诉他们,同时让您知道您根本不喜欢他们做什么,他们知道为什么。所以警告他们。如果未与团队具体讨论此事,我认为您实际上不会对他们生气,只是举一个您不赞成的报告的例子,让他们知道您不希望这样。
洛科,2015年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.