该将它们分开来分析。我相信Knuth对于这些(导致了上述推论的)故事的记忆,因为他描述了他记录这些故事的流程。但是,我认为Knuth过度了这些故事的意义,使其符合他的结论。如果Knuth花了如此多的时间在痛苦测试上,他还有可能完成TeX吗?我相信他的日记
我们还可以把开发人员从这个方法中剔除出来,只研究文档。开发人员们在旧系统中报告了哪些bug,又在新系统中报告了哪些这样我们也以发现开发人员不愿在新系统中报告的bug类型。这样你也许可以找到一些使用旧系统的原因,但是真正的原因仍然存在于团队成员的头脑之中。
上述几种都是定性研究的方法,他们都有各自的局限性。要想解决这些限制,我们就接受它们:只用一个方法无法揭示完整而不偏不倚的事实。好的人文研究会结合多种方法,并将各种方法得出的据结合在一起。举例来说,比如你既对员工们进行了访谈,又调查了哪些bug是在新系统中提交的。两种方法给你的结论虽然不同,但相互之间或多或少的有一致性。通过对比这些结论的相同点和不同点,你就可以了解到这个问题的真正答案。
除了调查了解事实之外,定性调查还可以让我们进行换位思考。很多时候,沟通不畅、违反流程、士气低落都是因为人无法从别人的角度来看世界。而这也正是定性研究想要解决的问题。这种换位思考往往就是定性研究方法的目标。比如说,你管理着一个团队,发现每周五都会出现编译错误,人们整天都在解决这个问题,每个人回家的时候都很累。使用定性研究的方法来调查这个问题你可能会发现原来星期四晚上大家都在忙着提交修改,因为周五是你决定开会的日子。有了这样的调查方法,你就可以从开发人员的角度来看这个世界并找到让大家都满意的解决方案其中两份评审特别受关注,因为它们颠覆了一些我们对软件成本预估的固定思维。成本估算模式的准确性
在两份系统性评审中,回答了成本模型估算(从过去项目中收集数据,然后基于数据生成数学公式)是否比判断估算(基于软件和管理者的于手动搜索来说,你需要选择你想要搜索的刊物和会议纪录。当然,你也需要证明你的选择是正确的。然而,在一个案例分析中,我们非常惊讶地发现,有针对性的手动搜索比泛泛的自动搜索要快许多[32]。在实践中,你很可能需要混合策略。如果你对一些资料进行手动搜索后(包括会议的会议纪录),你应该把它当做候选原始研究的一组基准,基于这组基准,你可以验证自动化搜索字符串的效用。另一种方法是,领域也可以把一组论文作为确定基准。
医疗标准强制有两个研究员立作出初始的对于包含和排除的决定。然而,我在软件工程中的自动化搜索经验是,许多论文单从标题就能看出它的无关性。因此,在实践中,许多软件工程研究者(包括我自己)允许单个研究者对无关的论文作出初始筛选。但此研究者理解,如果有任何疑问,那就把论文留作候选。然而,在下一步的筛选中,有两个或多个研究者立评估每篇候选的原始研究是很重要的。在这一阶段,研究者需要完整阅读每篇候选论文,用包含和排除的标准来进行筛选。
如果包含同一项研究多次的话,会使集合产生偏差。因此,检查每篇论文来确定他们是否包含多重研究,或者是否因为引用了同样的研究而需要融合他们的结果。然而,要识可重复性依赖于所研究的问题本身的清晰明确,不能模棱两可,也需要对搜索和集合的流程以及研究的范围进行的汇报。近有个研究比较了两个针对同样研究问题的立系统性评审[38]。这份研究总结:在原始研究数量较少而评审团由领域组成的情况下,软件工程的系统性评审可重复性相当高。另一份基于非常庞大的经验性文献库的系统性评审[51]发现了不同文献中的评审有的差异,但它同时解释说这些差异来自于不同评审
西门子810D数控系统代理商