软件测试心得：开bug前先去发现和分析

　　假如你打算写一个VOIP程序，想要测试它的效果你可能会从这些方面考虑：1、场景是否支持笔记本和耳机么;支持什么耳机;蓝牙还是3.5mm插口耳机。场景是否支持使用笔记本麦克风;或是只支持配麦克风的耳机。场景是否支持使用手机设备么;Android还是iOS。那么现在从这三点出发进行分析：

　　1、蓝牙耳机普遍都有硬件支持的回声消除模块(Acrostic Echo Cancellation)，而普通3.5mm耳机则通常由于结构简单而没有。对于没有回声消除的普通耳机，我们必须自己提供软件的回声消除避免影响接听效果。

　　2、我们不能使用完全相同的逻辑处理耳机和笔记本麦克风的语音输入。因为耳机麦克风的定向性比笔记本麦克风强很多，它只能取到声源凑得很近时发出的声音，而笔记本麦克风的设计则是用来在屏幕前相当大的范围内取声的。如果对笔记本麦克风使用耳机麦克风的声音检测算法则会由于灵敏度过高而将大量周边杂音收入，影响通话效果。而且有些场景是笔记本麦克风特有的，比如用户的打字音和风扇噪音。

　　3、Android和iOS都有内建的通话模块。iOS甚至提供了非常高效的回声消除和增益控制模块，但是没有静音检测模块。所以如果桌面程序移植到手机上时可以很好地利用这些功能简化自己的代码。而Android的回声消除模块则表现非常不稳定，需要很多调整才能得到较好的效果。

　　所谓“发现”

　　发现开发没注意的地方，发现项目经理没定义的场景，并提出相应的测试场景。这需要宽广的知识面才能做到。没有经验的测试更倾向于对所有测试的平台做全排列，但求不忽略任何一个场景。这在资源无限的情况下当然没问题，但真实项目中，测试的资源经常是最有限的，所以我们得学会怎么做最有效的测试，而不是闭着眼睛搞全面铺开。

　　何为“分析”?

　　举例来说：如果一个内测客户投诉你的VOIP程序实际使用中声音断断续续，你怎么分辨问题的原因?声音断断续续的情况有很多种，有由于网络延迟导致的，有由于操作系统处理过于繁忙导致程序执行时间被高优先级程序抢走而导致的处理中断产生的。我们怎么去分析哪些原因呢?没经验的测试可能会直接要求跑客户现场看看，但如果用户的环境不是每次都重现该怎么样?有经验的测试会提出：我们可以给客户一个调试用的版本，这个版本要求把数据包的收取时间点和每个数据段的开始处理时间点和CPU占用率纪录下来。通过前一个我们可以测量用户的网络情况，后一个数据段可以用来发现是否是操作系统换出导致的。反过来，对产品不熟悉的人，这些数据可能看不出什么用途。

　　有人说，这些都可以让开发来做，用不着测试。完全正确。可问题是：开发有时间做这些么?在微软这样级别的公司里，所有的项目都有严格的开发进度，开发部门忙于实现功能的时候，我想没几个产品经理会同意频频打断开发的进度要求停下来做bug分析。

　　另一点是我们不需要把开发和测试的界限分得那么清楚。事实上大部分如今的跨国IT公司都很少分开发和测试这两个职位(大约只有微软还严格地分两个职位吧，即使是这样，搜索那边也开始探索改变了)，但是要做的工作还是那么多，只是顶着的头衔换了换，所以没必要纠结。

　　另一个问题是关于测试的工作方式的。就像开发一样，有经验和没有经验的测试在团队起到的作用是很不一样的。从测试中遇到问题采取的行动来看，我观察到的测试人员能达到的层次大概有这么几个级别：

　　1、开一个bug;

　　2、查找一些额外的资料如设计文档和历史，确定这是一个问题，然后给出详细的bug重现步骤;

　　3、对重现步骤做一些精炼，确定能够重现bug的最少步骤;可能的话，将重现步骤做自动化;

　　4、尝试通过研究代码确认问题所在;

　　5、尝试给出一个fix;

　　6、对错误的原因进行分析，提出一些标准化的方法来检测出类似的问题，比如stress，fuzzing等等;

　　7、能够对标准化的测试流程定义对应的数据分析方法，可以保证开发和项目主管都能从中得到需要的信息来掌控质量状况。

　　那么作为一个测试人员，我们的目标是什么?对自己的目标是能对自己控管的所有的bug从1做到4，在至少两个例子中甚至能做到级别6。在微软工作六年的测试人员表示：在很多部门都见到过可以总是做到级别7的测试，能做到这个状态的测试，没有人敢说他们技术不行。对于开发人员来说，如果你身边有一位能对大部分bug做到级别4的测试，开发的工作也会轻松很多。

　　即使是抓bug也分很多种。抓一群猴子来随便在键盘上胡点两下算是测试，认认真真地一步步通过各种技术手段(代码覆盖、压力测试、安全分析等等)来步步推进也是测试。在实践中很多测试团队都会不知不觉地变成前一种。因为测试对产品的设计不了解，所以本能地会选择最容易做的，可问起他们：你们测了多少?信心多高?他们就都傻掉了。“猴子测试”并非毫无意义，它可以抓到我们思维上的许多盲点。但如果你的整个团队完全靠猴子测试过日子，那绝对不可能给你一个可信任的结果。

　　在遇到的测试人员中，最多只能做到级别1的测试人员并不罕见，能做到3的测试人员就被很多人认为相当不错了，至于团队中存在多个大牛测试的队伍则真的很少见。

　　我们的目的是什么?是开bug还是做更好的产品?如果你的全部目的只是多开bug，那真的很简单。举个真实例子，见过有同事将测试自动化代码的bug开成产品bug的，他的理论就是不管bug是什么，先开出来再说，至于它是产品问题还是测试代码的问题甚至是环境的故障都可以缓一缓，反正他不负责指出原因。我知道要求一个同事干这个干那个很不礼貌，但这种什么都不做就先开了bug再说的做事风格是在耽误所有同事的工作。作为团队的一分子，测试在产品上多花一分时间，有时候能省下开发几天的工作量，因为测试是最熟悉这个bug的人，而开发则需要从头开始分析。

　　当然，反过来开发也应该尽量将测试带入开发过程，让大家都知道各种功能进度的细节。这种合作同样能大大减少测试在产品设计变更时重新设计用例的时间。