贡献分析

也可从以下网址获得: 葡萄牙商业银行,西班牙语

贡献分析是在实际项目评估中评估因果问题和推断因果关系的一种方法。它提供了一种循序渐进的方法,旨在帮助管理者、研究人员和决策者就其项目对特定结果所做(或目前正在做)的贡献得出结论。贡献分析的基本价值在于,它提供了一种方法,旨在通过进一步了解观察结果发生(或不发生!)的原因以及干预和其他内部和外部因素所起的作用,减少干预对观察结果贡献的不确定性。

捐款分析在方案不是试验性的情况下特别有用,即不是在试验项目中,而是在方案是根据相对明确的方案筹资的情况下变革理论以及几乎没有或根本没有改变计划实施方式的余地。贡献分析有助于确认或修正变化理论;它并不是用来浮出水面,揭示和展示一个迄今为止含蓄或费解的变化理论。贡献分析的报告不是决定性的证据,而是提供了证据和推理,从中我们可以得出一个似是而非的结论,即在一定的置信度范围内,项目对记录的结果做出了重要贡献。

台阶

采取了六个步骤来制作可信的贡献故事:

1:列出需要解决的归因问题

确定要解决的具体问题。并非所有的因果问题都有助于研究。贡献分析不太适合传统的因果关系问题,例如:项目是否导致了结果?从数量上讲,该计划在多大程度上导致了结果?这些通常不是很有用,因为它们将程序视为一个黑匣子,而没有考虑到通常有许多原因。贡献分析更适合于贡献问题:项目是否影响了观察结果?该计划是否对观察结果做出了重要贡献?为什么会出现这样的结果?干预发挥了什么作用?对于管理问题:是否有理由得出这样的结论:该计划已经产生了影响?大量的证据表明,该计划发挥了多大的作用?使这类计划成功需要什么条件?

2:发展变化理论和风险

开发程序逻辑/结果链,描述程序应该如何工作。同时确定可能导致观察结果的主要外部因素。根据结果链,发展项目所基于的变革理论。这种变化理论应该导致项目活动与所寻求的结果之间的合理关联。变革理论必须包括成果链中的假设、固有风险以及外部影响,如捐助者压力、同行影响和资源水平。变革理论中的某些联系将得到相当好的理解或接受。除本计划外,其他人将不太容易理解、受到质疑或受到重大影响。通过这种方式,你承认归属确实是一个问题

3:收集关于变革理论的现有证据

首先使用现有的证据,如过去的相关评估或研究,以及之前的监测,来检验变化理论是有用的。它列出了预期结果(产出、中间和最终结果)。关于这些不同结果的发生,目前有哪些证据(来自绩效衡量和评估的信息)?变革理论中的联系也需要评估。关于这些联系背后的假设和风险,目前存在哪些证据?哪一个是强的(好的证据可用、强逻辑或广泛接受),哪一个是弱的(证据少、逻辑弱或利益相关者之间很少达成一致)?关于已确定的其他影响因素及其可能作出的贡献,存在哪些证据?

4:收集和评估贡献故事,或性能故事,以及对它的挑战

有了这些信息,您将能够组装您的贡献描述,以表达为什么假设程序的操作贡献了所观察到的结果(以您可能想尝试和描述的某种方式)是合理的。现在你必须评估它。这个故事有多可信?通情达理的人会同意这个故事吗?观察到的结果模式是否验证结果链?故事的主要弱点在哪里?弱点总是存在的。故事中的弱点指向哪里需要额外的数据或信息。

5:寻找更多的证据

在确定了贡献故事的可信性较差的地方之后,现在收集了更多的证据,以增加关于结果发生了什么、关键假设有多合理、外部影响和其他促成因素的作用等方面的证据。扩大证据可以包括收集额外的新数据,如来自调查、实地访问、行政数据、重点小组、国家统计数据等,以及综合来自其他研究和评价的证据。

6:修改并在其他证据允许的情况下,加强贡献故事

有了新的证据,你应该能够建立一个更实质性、更可信的故事,一个理性的人更有可能同意的故事。这可能不是万无一失的,但更多的证据将使它更有力、更可信。

使用因果关系的生成视角来推断一个程序对已观察到的预期结果做出了重要贡献,贡献分析认为,如果:

  • 干预有一个理性的变化理论:为什么干预预期会起作用,背后的关键假设是有意义的,是可信的,可能得到证据和/或现有研究的支持,并得到至少一些关键参与者的同意。
  • 干预活动按照《变革理论》的规定实施。
  • 变化的理论——或其关键要素——由观测结果和潜在假设的证据支持和证实——预期结果链发生了。变化的理论还没有被推翻。
  • 对其他影响因素进行了评估,结果显示,这些因素要么没有作出重大贡献,要么承认它们在促进预期结果方面的相对作用。

问题

在采取这种方法时,可能会出现以下问题:

  • 减少干预对观察结果贡献的不确定性。
  • 在实际项目评估中推断因果关系。
  • 确认或修改一个项目的变化理论——包括其逻辑模型。

风险和假设被标记为[O],其中干预没有或很少影响,或[I],干预可以(应该)有直接或间接的影响,或[C],干预应该能够直接控制。

资源

指南

  • 通过贡献分析解决归因问题:明智地使用绩效指标. 这篇文章来自加拿大项目评估杂志概述了使用贡献分析作为工具来发现项目对特定结果的贡献所涉及的关键步骤。
  • 贡献分析:一种探究因果关系的方法:这篇来自机构学习与变革倡议(ILAC)的简报探讨了贡献分析以及如何使用它来提供可信的因果评估。
  • 梅恩,J.(2011)。通过贡献分析解决简单和复杂环境中的因果关系。在评估复杂情况时,交易发布商R.Schwartz、K.Forss和M.Marra(编辑)。
  • Mayne,J.(2011)《贡献分析:评估复杂环境中的因果关系》,K.Forss,M.Marra和R.Schwartz(编辑),交易出版商;皮斯卡塔韦,新泽西州。

来源

评论

艾丽丝·麦克法兰的照片
艾丽丝·麦克法兰

嗨谢尔比,

非常感谢分享链接-

最好的

爱丽丝

最佳评估网站协调员

Wouter Rijneveld的照片
沃特·里杰维德

嗨,Emmanouil,你可以用CA做任何事情,只要有一个明确的非正式关系开始。例如,官僚管理对变化X或y的影响。你好,沃特

约翰的照片
约翰·梅恩

Wouter是正确的。你只需要建立一个合理的因果关系变化理论模型,这当然是一个挑战!

匿名者的照片
里克。戴维斯

请允许我怀疑一下。。。上述6个步骤的过程与理论测试的一般方法有何不同?CA的独特之处是什么?

我很想回答我自己的问题:这种分析的结果是可以接受的,对这类索赔的模糊描述。

但请随意指出我的错误:——)

匿名者的照片
里克。戴维斯

寻找替代理论就足够了吗?

如果已知或预期只有一个x导致y的例子,那么搜索和测试另一种理论是有意义的。但是如果可能有多个实例,那么我建议在搜索这些类型之前需要其他步骤实例第一:

  1. 错误否定,即偏好理论所描述的条件不存在,但预期的结果存在
  2. 假阳性,即存在偏好理论所描述的条件,但没有预期的结果
  3. 附加的真正性,当被偏爱的理论描述的条件出现时,预期的结果是

如果上述每个类别中有多个实例,那么下一步需要仔细且合理地选择实例。

在测试程序集中,应找到最不相似的实例。如果这两种理论都适用,那么这就是对该理论的有力支持(如果它是受欢迎的理论,或者其他)

在FPs和FNs中,选择的实例应该是尽可能相似对于TP实例的所有其他属性,除了分别出现在理论条件(FP)和理论结果(FN)中的属性

只有在仔细选择可供比较的实例之后,才应该努力识别和检验可供选择的理论

匿名者的照片
naeem

大家好。我正在寻找关于Byesian更新的excel电子表格,用于贡献跟踪。如果有人有,请与我分享。我想你很早就知道了。

致以最亲切的问候

纳伊姆

添加新评论

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。