了解原因

大多数评估都需要解决因果问题的方法——不仅要记录发生了什么变化,还要理解为什么发生了变化。

影响评估侧重于了解干预措施(项目、计划、政策、网络和组织)的长期结果,总是包括对原因的关注。

理解原因在其他类型的评估中也很重要。例如,在过程评估中,经常需要解释为什么实施是好是坏,以便能够提出改进或维持实施的方法。

近年来,在评价中理解原因的方法有了相当大的发展,关于哪些选择在哪些情况下是合适的也有相当多的讨论和分歧。

在这些不同的选项中进行选择,可以考虑可能涉及到的不同类型的因果推理:

  • 一个原因产生一个效果t——生产是必要的,也是充分的e效果

  • 两个或多个原因组合以产生某种效果(例如,两个程序或一个程序)内存当与其他因素如特定参与者特征相结合时)–其中一个原因是必要的,但还不够

  • 两个或两个以上的原因是产生一种效果的可选方式-他们中的一个是充分的,而不是必要的

对于这些不同类型的因果关系,可以使用不同的标签-因果归因意味着只有一个原因,也就是因果贡献暗示一系列的原因,和因果推理被用来指所有这些

同样重要的是要考虑可能会被问到的关于因果关系的不同类型的问题:

  • 干预有效果吗?

  • 对谁来说,在什么情况下,干预在哪些方面产生了影响?

  • 这次干预带来了多大的影响?

  • 具体影响在多大程度上可以归因于干预?

  • 干预是如何起作用的?

探讨评估中理解原因的不同方式,下载概述其中列出了不同的方法、设计、过程和方法。您还可以探索以下三种广泛的因果推理策略。

任务

1.检查结果是否与因果贡献一致

这一战略应成为包括因果问题在内的所有评价的一部分。如果干预导致了观测到的变化,可以使用多种选择和方法来检查数据是否与预期一致。

2.将结果与反事实进行比较

这种策略适用于某些但不是所有的评估。有许多选择和方法可以用来建立一个反事实的估计,即对没有干预会发生什么情况的估计,并将其与干预后的结果进行比较。

3.调查可能的替代解释

这一战略应成为包括因果问题在内的所有评价的一部分。有许多选择和方法可以用来确定可能造成影响的其他因素,并看看是否有可能排除它们。

资源

录制的网络研讨会:简·戴维森的 因果推理的选项 在一个美国评估协会咖啡休息系列20分钟网络研讨会。 对所有人免费,包括非会员。 

因果关系和因果推理模型。芭芭拉的论文Befani讨论思考因果关系的不同方法,并探讨因果关系。

使因果索赔.约翰·梅恩关于思考所涉及的逻辑的论文产生结果的多种因素。

评论

匿名的照片
贝尔卡西

嗨。我在加拿大的一个公共部门工会工作,该工会正在实施一个五年教育计划。工作人员、教育工作者及其主管进行了形成性评价,而总结性评价现在才发展起来。用来确定项目的影响和/或结果的最有效的评估是什么?

谢谢!

帕特里夏·罗杰斯的照片
帕特里夏·罗杰斯

嗨,卡西,

最有效的评价设计或方法将取决于干预的性质、评价的目的和资源的可用性,特别是时间、资金和现有数据。我建议您查看一下我们的影响评价页面,它为您处理各种需要考虑的问题提供了指导,同时也为您如何着手进行选择提供了指导。//www.szbpn.com/en/themes/impact_evaluation

史蒂夫·蒙塔古的照片
史蒂夫·蒙塔古

嗨,卡西/帕特里夏,

很抱歉在六月错过了这个。我还想指出,Patricia和她的同事Sue Funnell已经写了关于信息/教育原型的变化理论(如目的性计划理论pg 352-357)。在我任教的加拿大卡尔顿大学,我们大量使用betterevaluation.org和目的性项目理论作为核心资源,我们有许多学生项目着眼于信息/教育项目的因果关系(影响)。我建议回顾一下过去在这一领域的工作。也许是因为我们在加拿大,我们倾向于贡献分析——基于方法由约翰·梅恩在渥太华和面向的谨慎应用程序理论和“因果包”和最近的想法非常适应现实主义理论方法应用于关键环节(因果通路)。作为一个例子,请看https://pubmed.ncbi.nlm.nih.gov/28557934/.卡尔顿学院的“我们”与这个项目没有任何关系(但它非常符合我们的典型做法——如图2所示),所以我觉得我可以毫不犹豫地推荐它。如果你对学生实习项目感兴趣,请告诉我们。我们的团队已经在今年9月启动了——但明年9月我们还会继续寻找。)

希望这可以帮助!祝你好运。

添加新评论

登录登录并作为BetterEvaluation成员进行评论,或者简单地填写下面的字段。