影响评估

影响评估提供有关干预措施产生的影响的信息——积极的和消极的、预期的和非预期的、直接的和间接的。这意味着要进行影响评估必须建立观察到的变化(在这里是“影响”)的原因,即因果归因(也称为因果推理)。

如果影响评估未能系统地进行因果归因,那么评估产生错误发现并导致错误决定的风险就更大。例如,当方案实际上只在某些有限情况下无效或有效时,决定扩大规模,或当解决了限制因素后方案可以发挥作用时,决定退出。

1什么是影响评估?

影响评估提供有关干预措施产生的影响的信息。

干预可能是一个小项目,一个大计划,活动集合或政策。

许多发展机构使用的定义影响提供的经济合作与发展组织——发展援助委员会

“由直接或间接、有意或无意的发展干预所产生的积极和消极、主要和次要的长期影响。””(OECD-DAC 2010)。

这一定义意味着影响评估:

  • 超越描述或测量已经发生的影响,以寻求理解干预在产生这些影响中的作用(因果归因);
  • 可以包含广泛的因果归因方法;和
  • 包括检查意外影响。

2为什么会影响评估?

可以进行影响评估,以改进或调整干预措施(即为形成目的),或为决定是否继续、停止、复制或扩大干预措施(即为总结性目的)提供信息。

虽然许多形成性评估侧重于过程,但如果干预正在进行,也可以形成性地使用影响评估。例如,通过确定需要监测和严格管理的关键因素,可以利用影响评价的结果来改进为下一届参与者所接受的方案的执行。

大多数情况下,影响评估用于总结性目的。理想情况下,总结性影响评估不仅会产生关于“什么有效”的调查结果,而且会提供使干预在不同环境下对不同群体起作用所需的信息。

3何时进行影响评估?

只有在能够明确确定其预期用途和有可能产生有用结论的情况下,才能进行影响评价,同时考虑到资源的可得性和就正在调查的干预措施作出决定的时机。一个评价评估可能需要首先评估这些方面。

影响评估干预措施的优先顺序应考虑:评估与组织或发展战略的相关性;评估的潜在用途;高级管理人员或决策者对使用评估结果的承诺;和/或评估对宣传或问责要求的潜在用途。

考虑影响评估的时间也很重要。姗姗来迟时,调查结果为时已晚以通知决策。在完成太早时,它将提供一个不准确的影响的图片(即,当他们在随着时间的推移时不够的时间开发或夸大时,将会受到影响。

问题 影响评估可能适用于以下情况。。。 在以下情况下,影响评估可能不合适…
预定用途和定时 我们可以利用这些发现为未来的干预决策提供信息。 没有明确的预期用途或预期用户——例如,已经根据现有可信证据做出了决定,或者需要在进行可信的影响评估之前做出决定。
集中 有必要了解已经产生的影响。 在这一阶段的首要任务是理解和提高实施的质量。
资源 有足够的资源进行充分全面和严格的影响评估,包括提供现有的高质量数据和额外的时间和金钱来收集更多的数据。 现有数据不足,也没有足够的资源来填补空白。
相关性 它显然与一个组织、合作伙伴和/或政府的战略和优先事项有关。 它与组织、伙伴关系和/或政府的战略和优先事项无关。

谁参与评估过程?

无论评估的类型如何,重要的是要思考谁应该参与,为什么和在评估过程的每个步骤中如何以及如何制定适当和上下文的参与式方法。参与可以发生在影响评价过程的任何阶段:在决定做一个评估,在其设计,数据收集,在分析,报告和同样的,在管理它。

明确影响评估中参与式方法的目的是管理期望和指导实施的重要第一步。其目的是确保那些本应通过该计划或政策改善生活的人的声音是调查结果的核心吗?是否确保相关的评估重点?是倾听人们自己对变化的看法,而不是获得外部评估者的一套指标吗?它是为了建立捐助者资助方案的所有权吗?这些因素和其他考虑因素将导致不同利益相关者组合以不同形式参与影响评估。

选择参与式影响评价方法的基本理由可以是务实的或道德的,或两者的结合。务实是因为获得了更好的评价(即更好的数据、更好地理解数据、更适当的建议、更好地接受调查结果);因为这是应该做的正确的事情(即,根据联合国基于人权的规划方法规定,人们有权参与告知将直接或间接影响他们的决定)。

参与式方法可用于任何影响评估设计。换句话说,它们不是特定的评估方法或限制定量或定性数据收集和分析。

意图使用参与式方法的任何影响评估的出发点在于明确这将为评估本身以及将密切参与的人员(但也包括他们参与的潜在风险)增加什么价值。每种情况下需要回答三个问题:

(1) 利益相关者参与本次影响评估的目的是什么?;

(2) 谁的参与很重要,何时以及为什么,

什么时候参与是可行的?

只有解决了这些问题,才能解决如何使影响评价更具参与性的问题。

有关更多信息,请参见:

5如何规划和管理影响评估?

与任何其他评估一样,影响评估应作为一个独立的项目进行正式规划和管理,决策过程和管理安排从一开始就明确描述。

规划和管理包括:

  • 描述需要评估的内容,并制定评估摘要
  • 确定和调动资源
  • 决定由谁进行评估并聘请评估人员
  • 决定和管理开发评估方法的过程
  • 管理评估工作计划的发展
  • 管理工作计划的执行,包括制定报告
  • 传播和支持报告的使用

确定因果归因是将评估称为影响评估的必要条件。设计方案(无论是实验性的、准实验性的还是非实验性的)都需要在准备和早期数据收集方面进行大量投资,如果影响评估仅限于在干预实施结束时进行的短期演练,则无法实现。因此,特别重要的是,将影响评价作为综合监测、评价和研究计划和系统的一部分加以处理,该计划和系统产生并提供一系列证据,为决策提供信息。这也将确保来自其他监测和评价活动的数据,如性能监视和过程评估,可以在需要时使用。

有关更多信息,请参见:

6可以用什么方法进行影响评价?

制定影响评估的边界

评价目的是指进行影响评价的基本原理。正在进行评估来支持学习应该清楚是谁打算从中学习,他们将如何参与评估过程,以确保它被视为相关和可靠的,以及是否有特定的决策点,预计这种学习应用。为支持问责制而进行的评价应明确谁负责、对谁负责以及对什么负责。

评估依赖于事实和价值观的结合(即,原则、属性或品质被认为本质上是好的、可取的、重要的和具有普遍价值的,如“公平对待所有人”),以判断干预的价值(Stufflebeam 2001)。评估标准指定将在评估中使用的值,因此有助于设置边界。

许多影响评估使用OECD-DAC标准(OECD-DAC 2015年访问):

  • 相关性:干预目标的目标是与受助者的要求,国家需求,全球优先事项和合作伙伴政策一致。
  • 有效性:考虑到干预目标的相对重要性,干预目标已达到或预期达到的程度。
  • 效率:对经济资源/投入(资金、专门知识、时间、设备等)如何转化为结果的衡量。
  • 影响:干预所产生的直接或间接、有意或无意的积极和消极的主要和次级长期影响。
  • 可持续性:在主要发展援助停止后,继续从干预中获益。干预措施必须在环境和财政上都是可持续的。在不强调外部援助的情况下,可持续性可定义为主要利益攸关方在捐助方停止供资后,通过利用当地现有资源的努力维持干预效益的能力。

OECD-DAC标准反映了评估发展援助(OECD-DAC 1991)的核心原则,并被大多数发展机构作为评估良好做法标准。其他,常用的评估标准是股权,性别平等和人权。并且,一些人用于特定类型的发展干预,如:覆盖,协调,保护,一致性等人道主义援助。换句话说,并非所有这些评估标准都在每种评估中使用,这取决于干预的类型和/或评估类型(例如,撞击标准与过程评估无关)。

评价标准应被视为“概念”,必须在评价中加以阐述。它们的定义不充分,无法以透明的方式系统地应用于对干预做出评估性判断。在每个“通用”标准下,更具体的标准,如基准和/或标准*-应与干预的类型和背景相适应-加以界定,并与主要利益攸关方达成一致。

评价标准应清楚地反映在评价所要处理的评价问题中。

*基准或指数是一组相关指标,提供有意义的、准确的和系统的性能比较;一个标准或指标是一组相关的基准/指数或指标,提供有关绩效的有社会意义的信息。

定义影响评估应解决的关键评估问题(KEQ)

影响评估应侧重于回答少量高级别关键评估问题(KEQ),这些问题将通过证据组合得到回答。这些问题应与评价标准明确挂钩。例如:

KEQ1。 干预设计/内容的质量如何?[评估相关性、公平、性别平等、人权
KEQ2。 根据需要,干预措施的实施和调整情况如何?[评估有效性、效率
KEQ3。 干预是否在短期、中期和长期产生了预期的结果?如果是,为谁,在什么程度上,在什么情况下?[评估效力、影响、公平、两性平等
KEQ4。 干预产生了哪些意外结果——积极和消极的结果?这些结果是如何发生的[评估有效性、影响、公平、性别平等、人权
KEQ5。 是什么障碍和促成因素导致了干预措施实施的成功与令人失望之间的差异?[评估相关性、公平、性别平等、人权
KEQ6。 结果对服务提供商、客户、社区和/或相关组织有多大价值?[评估相关性、公平、性别平等、人权
KEQ7。 干预在多大程度上代表了对现有资源的最佳利用,以实现对参与者和社区可能有最大价值的结果?[评估效率
KEQ8。 有任何积极的结果可能会持续下去吗?在什么情况下?[评估可持续性、公平、两性平等、人权

然后,应该将一系列更详细的(中级和低级)评价问题连接起来,以详细地处理每个评价标准。所有评价问题都应与评价标准明确挂钩,以确保标准得到全面涵盖。

KEQs还需要反映影响评价的预期用途。例如,如果评估的目的是为扩大试点方案提供信息,那么仅仅问“它是否有效?”是不够的。或“影响是什么?”需要很好地了解如何在活动和支持性背景因素方面取得这些影响,以复制一个成功试点的成就。公平问题要求影响评价超越简单的平均影响,以确定这些方案是为谁以及以何种方式取得成功的。

在KEQs中,识别所涉及的不同类型的问题也很有用——描述性的、因果性的和评价性的。

  • 描述性的问题询问情况如何以及发生了什么,包括描述初始情况及其变化,干预活动和其他相关计划或政策,参与者特征方面的背景,以及实施环境。
  • 因果问题询问观察到的变化是否以及在多大程度上是由于正在评估的干预措施而不是其他因素,包括其他方案和/或政策所致。
  • 评价性问题询问关于一项方案或政策是否可以被视为成功、改进或最佳选择的总体结论。

影响评估必须对所有这些问题有可靠的答案。

有关更多信息,请参见:

定义影响

通常理解的影响通常比中级结果发生在一起。例如,在以前的情况下,实现了改善进入土地的中级结果,增加了社区决策的增加水平,并为妇女改善健康和福祉的预期最终影响。结果和影响之间的区别可以是相对的,并取决于干预的指定目标。还应注意,可能会产生一些影响,因此不能预测。

有关更多信息,请参见:

定义成功,做出评估性判断

根据定义,评估就是答案评价问题,即关于质量和价值的问题。正因为如此,评价才比仅仅衡量指标或对观察和故事的总结更有用、更有意义。

在任何影响评估中,首先定义“成功”(质量、价值)的含义非常重要。这样做的一种方法是使用一个特定的量规,为每个评估标准定义不同的绩效水平(或标准),决定将收集哪些证据,以及如何综合这些证据,以得出有关干预价值的合理结论。

至少,在平衡多重影响或分配影响时,应该明确哪些权衡是合适的。由于发展干预措施往往具有多重影响,这些影响分布不均,因此这是影响评价的一个基本要素。例如,如果一项经济发展方案增加了家庭收入,但也产生了有害的环境影响,该方案是否应被视为成功?如果平均家庭收入增加,但最贫困家庭的收入减少,这是否算是成功?

要回答评估性问题,必须首先定义“质量”和“价值”的含义,然后收集相关证据。质量指的是某物有多好;价值是指在特定的情况下它有多好,特别是考虑到用于生产它的资源和它应该解决的需求。评估性推理需要综合这些元素来形成对评估性问题的可辩护的(即,理由充分和证据充分的)答案。

无论使用何种方法或评估方法,评估推理都是所有评估的一项要求。

评估应该有一组有限的关于整体绩效的高级问题。每个KEQ都应该通过询问关于具体绩效维度的更详细的问题来进一步解包,有时甚至是低级问题。评估推理是对低级问题的答案进行综合的过程将中级问题转化为直接回答高级问题的辩护判断。

有关更多信息,请参见:

运用变化理论

评价如果不仅调查活动和影响之间的联系,而且还调查活动、产出、中间结果和影响之间的因果关系,就会产生更有力和更有用的结果。“变化理论”解释了活动如何被理解为产生一系列有助于实现最终预期影响的结果,有助于指导影响评估中的因果归因。

在每次影响评估中都应以某种形式使用变化理论。它可以用于任何旨在推断因果关系的研究设计,它可以使用一系列定性和定量数据,并为三角化数据提供支持,产生于混合方法的影响评估。

在规划影响评估和制定职权范围时,应对计划或政策的任何现有变更理论进行适当性、全面性和准确性审查,并在必要时进行修订。在评估过程中,如果干预措施本身或不充分,应继续对其进行修订对其工作方式——或预期工作方式——的认识发生了变化。

然而,有些干预措施无法事先进行全面规划——例如,在实施过程中必须应对新出现的障碍和机会的环境中,比如在动荡的政治环境中支持立法的制定。在这种情况下,将需要不同的战略来开发和使用变化理论进行影响评估(Funnell和Rogers,2012)。对于一些干预措施,可能会记录在不同战略被试用、调整或替换时出现的变化理论。在其他情况下,可能会有一种关于变革将如何发生(例如,通过提供激励)的高层次理论,也可能会有一种关于在特定环境下必须采取哪些措施才能实现变革的新兴理论。在其他地方,它的基本基础可能围绕着适应性学习,在这种情况下,变革理论应该专注于阐明各个参与者如何收集和使用信息,以进行持续改进和适应。

变革理论可以在几个方面支持影响评估。它可以识别:

  • 具体的评价问题,特别是与尚未有实质性证据的变化理论的那些要素有关的问题
  • 应包括在数据收集中的相关变量
  • 在评估期间不会发生利益影响的情况下,可作为成功标志的中间结果
  • 应审查的执行方面
  • 应在数据收集和分析中解决的潜在相关上下文因素,以寻找模式。

评估可以确认变化理论,也可以根据证据分析提出改进建议。影响评估可以检查因果链是否成功,如有必要,还可以检查其他因果路径。例如,未能实现中间结果可能表明实施失败;未能实现最终预期影响可能是由于理论失败,而不是实施失败。这对评估得出的建议具有重要影响。在实施失败的情况下,建议采取措施提高实施质量是合理的;在理论失败的情况下,有必要重新思考实现影响的整体战略。

有关更多信息,请参见:

确定评估方法

评价方法列出了如何回答关键评价问题(KEQs)。它规定了因果归因的设计,包括是否以及如何构建比较组,以及数据收集和分析的方法。

➟ 确定因果归因的策略和设计

OECD-DAC将因果归因定义为:

“将观察到的(或预期将观察到的)变化与具体干预之间的因果关系归因于此。”(OECD_DAC 2010)

该定义不要求变更完全或完全由受调查的计划或政策产生(UNEG 2013)。换言之,它考虑到可能还涉及其他原因,例如利益领域的其他方案/政策或某些背景因素(通常称为“外部因素”)。

在影响评估中有三种广泛的因果归因策略:

  • 估计反事实(即,与观察到的情况相比,在没有干预的情况下会发生什么)
  • 检验变化理论中明确的因果关系的证据的一致性
  • 排除其他解释,通过一个合理的,有证据的过程。

使用这些策略的组合通常有助于增加得出的结论的强度。

有三个设计选项可以解决因果归因:

  • 实验设计–通过随机分配构建控制组。
  • 准实验设计- 通过匹配,回归不连续性,倾向分数或其他方式来构建比较组。
  • 非实验设计–系统地研究证据是否与干预产生影响时的预期一致,以及其他因素是否可以提供替代解释。

一些个人和组织对影响评估的定义比较狭窄,只包括包含某种反事实的评估。这些不同的定义在决定评估的预期用户或合作伙伴或资助人认为哪些方法或研究设计可信时非常重要。

有关更多信息,请参见:

➟数据收集,管理和分析方法

精心选择和实施的数据收集和分析方法对所有类型的评价都是必不可少的。影响评价需要超越评估影响的大小(即平均影响),以确定一个方案或政策对谁以及以何种方式取得成功。必须预先考虑什么是“成功”,以及如何分析和综合数据以回答具体的关键评价问题(KEQs),因为数据收集应面向对项目或政策作出适当判断所需的证据组合。换句话说,分析框架- -以系统和透明的方式寻找模式来分析数据的“意义”的方法- -应在评价规划阶段具体说明。该框架包括数据分析如何处理关于方案如何产生预期结果的方案理论中所作的假设。在真正的混合方法评估中,这包括使用适当的数字和文本分析方法,并对多个数据源和视角进行三角分析,以最大限度地提高评估结果的可信度。

通过检查现有数据的使用范围来开始数据收集计划。在审查了现有的信息后,创建一个评价矩阵(见下文)将有助于说明将使用哪些数据收集和分析方法来回答每个KEQ,然后确定和优先考虑需要通过收集新数据来解决的数据差距。这将有助于确认计划的数据收集(和现有数据的整理)将涵盖所有KEQs,确定不同数据源之间是否有足够的三角关系,并有助于数据收集工具的设计(如问卷、访谈问题、用于文档审查的数据提取工具和观察工具),以确保它们收集必要的信息。

评估矩阵:将数据收集匹配为关键评估问题

关键评估问题(KEQ)示例

方案参与者调查

关键线人的采访

项目记录

项目执行情况观察

KEQ 1执行的质量如何?

课程目标达到了什么程度?

KEQ 3该计划还有哪些其他影响?

该项目如何改进?

收集数据有许多不同的方法。尽管许多影响评估使用多种方法,但“混合方法评估”的区别在于系统的集成评估所有阶段的定量和定性方法和方法(Bamberger 2012)。混合方法的一个关键原因是,它有助于克服单独使用时每种方法固有的弱点。当来自不同数据源的信息汇聚时,它还提高了评估结果的可信度(即,他们对调查结果的方向保持一致)并能加深对方案/政策及其影响和背景的理解(Bamberger 2012)。

良好的数据管理包括为以下方面开发有效的过程:持续收集和记录数据、安全存储数据、清理数据、传输数据(例如,在用于分析的不同类型软件之间)、有效地呈现数据以及使数据便于他人验证和使用。

具体的分析框架和具体数据分析方法的选择将取决于影响评价的目的和与之内在联系的KEQs类型。

来回答描述性的KEQs提供了一系列分析选项,这些选项大体上可分为两大类:定量数据选项(数字)和定性数据选项(如文本)。

来回答因果因果归因分析主要有三种方法:(1)反事实方法;(2)证据与因果关系的一致性;(3)排除其他选择(见上文)。理想情况下,可以使用这些方法的组合来建立因果关系。

来回答评价应采用KEQs,即与所采用的评价标准(如OECD-DAC标准)相联系的具体评价标准,以便综合证据并对干预措施的价值做出判断(见上文)。

有关更多信息,请参见:

如何报告这些发现并支持它们的使用?

评估报告的结构应反映评估的目的和KEQ。

首先,证据回答具体问题与OECD-DAC标准的相关性、有效性、效率、影响和可持续性,并考虑股本,性别平等和人权应该提供简洁但有足够的细节来证明结论和建议。

具体的评价指标应用于“解释”证据,并确定哪些考虑是至关重要或紧急的。随后应综合多方面的证据,以产生对高级别评价性问题的答案。

评估报告的结构可以在很大程度上鼓励对评估问题的直接回答进行简洁的报告,并有足够的关于评估推理和方法的细节支持,让读者遵循逻辑,清楚地看到证据基础。

以下建议将有助于对具有强烈评价推理能力的评价报告设定明确的期望:

  1. 执行摘要必须包含直接和明确的对KEQs的评价性回答,用于指导整个评估。

  2. 在呈现结果时必须使用明确的评估语言(而不是仅仅描述结果的价值中立语言)。应该提供例子。

  3. 使用清晰和简单的数据可视化,以简单易懂的“快照”形式展示干预措施在各个方面的表现。

  4. 使用KEQS作为副标题的调查结果部分(而不是经常完成的类型和证据来源)。

  5. 评价性推理的使用必须清晰和透明,对于非评价者和对该主题没有深入内容专业知识的读者,解释必须清晰易懂。这些解释在报告正文中应是广泛和简短的,更详细的说明见附件。

  6. 如果评估尺寸相对较小,则这些应包括在报告的主体中。如果它们很大,则应在报告的主体中包含至少一两个或两个的简要摘要,并在附件中包含所有Qualrics。

有关更多信息,请参见:

资源

影响评估的概述/介绍

儿童基金会影响评价方法简报和录像

概述摘要(1、6、10)有英文版本,法语和西班牙语由三种语言的白板动画视频支持;简介7(RCT)还包括一段视频。

联合国儿童基金会-更好的评价、影响评价网络研讨会系列

2015年,BetterEvaluation与联合国儿童基金会因诺琴蒂研究办公室为儿童基金会工作人员举办八次影响评价网络研讨会。其目的是提供互动式能力建设经验,专门针对儿童基金会的工作和开展国际发展方案和政策影响评估的独特情况。网络研讨会是基于影响评价系列-一个用户友好的包,包括13个方法学摘要和4个动画视频-并由摘要的作者提出。每个页面不仅提供了8个网络研讨会的链接,而且还提供了每个网络研讨会演示后的实际问题及其答案。

讨论文件

指南

互动影响评估指南和网络研讨会系列

方法实验室出版物

方法实验室是海外发展研究所(ODI)、BetterEvaluation(BE)和澳大利亚外交和贸易部(DFAT)在2012-2015年间开展的行动学习合作。方法实验室试图开发、测试和制度化影响评估的灵活方法。它侧重于因其多样性和复杂性而难以评估的干预措施,或传统影响评估方法可能不可行或不适当的干预措施,其更广泛的目的是确定具有更广泛应用潜力的经验教训。查看更多信息在这里.该方法实验室制作了多种指导文件,包括:

现实主义影响评估:导论-本指南说明在什么情况下采用切合实际的影响评价最适合或最可行评价某一特定计划或政策,并概述如何根据切合实际的方法设计和实施影响评价。阅读更多。

在影响评估中处理性别问题-本文件为那些希望在委托或进行评估时真正关注性别影响的从业人员和评估人员提供了资源。阅读更多。

影响评价的可评价性评价-本指南概述了在进行影响评估之前实施可评估性评估的实用性和具体指导以及工具。阅读更多。

何时以及如何建立以影响为导向的监测和评估系统-许多发展方案工作人员有这样的经验:在项目或方案快结束时委托进行影响评价,结果发现监测系统没有提供关于执行情况、背景、基线或临时结果的充分数据。本指导说明是针对这一常见问题而制定的。阅读更多。

可以找到其他指导文件在这里

页面贡献者

本页内容由:Greet Peersman编辑

内容基于“联合国儿童基金会影响评估方法摘要”,这是联合国儿童基金会研究办公室- Innocenti、BetterEvaluation、皇家墨尔本理工大学和国际影响评估倡议(3ie)之间的合作项目。这些摘要由(按字母顺序):E. Jane Davidson, Thomas de Hoop, Delwyn Goodrick, Irene Guijt, Bronwen McDonald, Greet Peersman, Patricia Rogers, Shagun Sabarwal, Howard White撰写。

工具书类

班贝克M(2012)。影响评价中的混合方法介绍。指导说明3号。华盛顿特区:交互。看到的:https://www.interaction.org/blog/impact-evaluation-guidance-note-and-webinar-series/

Funnell S和Rogers P(2012)。有目的程序理论:逻辑模型和变化理论的有效使用. 旧金山:乔西·巴斯/威利。

经合组织发援会(1991年)。原则评价发展援助。巴黎:经济合作与发展组织-发展援助委员会(OECD-DAC)。看到的:http://www.oecd.org/dac/evaluation/50584880.pdf

OEDC-DAC(2010年)。评估和基于结果的管理的关键术语术语表.巴黎:经济合作与发展组织-发展援助委员会(OEDC-DAC)。看到的:http://www.oecd.org/development/peer-reviews/2754804.pdf

OECD-DAC(2015)访问。评价发展方案。发展援助委员会发展援助评估标准。经济合作与发展组织发展援助委员会(OECD-DAC)。看到的:http://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm

StufleBeam D(2001年)。评估值和标准清单。卡拉马祖:西密歇根大学清单项目。见:https://www.dmeforpeace.org/resource/evaluation-values-and-criteria-checklist/

联合国评价小组(2013年)。联合国机构评价系统中的影响评价:选择、规划和管理指南指导文件.纽约:联合国评价小组(评价小组)。见:http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=1434

引用本页

Peersman, g (2015)影响评估.BetterEvaluation.检索自//www.szbpn.com/themes/impact_evaluation

特别感谢本页的贡献者
作者
主任,评价能力加强,更好的评价。
澳大利亚墨尔本。
评论家
首席执行官,更好的评估。
墨尔本。

评论

里克达维斯的照片
里克。戴维斯

关于OECD DAC对因果归因任务的看法:将观察到的(或期望观察到的)变化与特定的干预联系起来,这似乎是不平衡和片面的。

Goertz和Mahoney(2012:42)认为有两种同样合理的方式来看待因果归因:

  • 原因的影响(通常是实验研究的重点)
  • 影响的原因(通常是定性研究的重点)

这更符合复杂性的观点,因为一个给定的事件可能有多个原因和多个后果,我们可以集中分析这幅图的任何一边。

Mahoney,J.,Goertz,G.,2006年。两种文化的故事:定量和定性研究的对比. 政治分析14227-249。关于谷歌图书http://goo.gl/2jOpfn

(这条评论不仅仅是要求你关注quant!)

里克达维斯的照片
里克。戴维斯

对不起,错误的参考书。它应该是

《两种文化的故事:社会科学中的定性和定量研究》。普林斯顿大学出版社。

http://goo.gl/2jOpfn

帕特里夏·罗杰斯的照片
帕特里夏·罗杰斯

谢谢你,瑞克,这一点很重要。在影响评估中,承认多个原因和多个后果(在适当情况下)非常重要,设计和方法需要能够解决这些问题。在RAMESES(现实主义和元叙事证据综合:不断发展的标准)上对此进行了一些讨论讨论清单https://www.jiscmail.ac.uk/cgi-bin/webadmin?A2=RAMESES;1fc28313.1411.期望用不同的方法来确定一个结果的原因,而不是一个原因的结果,这是否合理?

罗布·科沃德的照片
罗布·科沃德

这是对影响评估的有益概述,在很大程度上符合我所在组织对这个问题的思考。然而,一个关键的区别是,我们在项目计划期间发展我们的变化理论(或者我们称之为“影响链”)。这在方案一开始就以透明的方式确立了产出、中间结果和长期影响之间的关系。这种方法还有助于我们与参与者和利益攸关方进行协商并寻求共识。这使我们能够在投入重大投资之前调整我们的逻辑/假设和目标。当然,使用这种方法经常会有意想不到的影响,但它似乎增加了实现预期影响的可能性。

我几乎晚了一年才对这一资源作出回应,但我想了解其他人对我们方法的看法。

帕特里夏·罗杰斯的照片
帕特里夏·罗杰斯

很高兴听到这个在项目规划过程中开发和验证变更理论/影响链的例子。正如您所指出的,这使得从变更理论中获得更多价值成为可能。

Dadak的照片
达达克乔西

你好帕特丽夏,
谢谢你的回复,非常有帮助。
我已经为变化理论开发了一个因果关系模型,我想为大家回顾一下,并提出一些建议。
无论如何,我可以发给你一个Microsoft Word文件吗?

匿名者的照片
穆罕默德•阿里

先生,我有问题,我有两年的农业技术采用数据(2006-07基准,2018-19终点),包括1440个农民访谈。在2006-07年和2018-19年,同样的受访者采访了他们所采用的农业技术。先生,我要检查一下农业技术在2006-07和2018-19的影响,我应该如何应用它的影响?第二个问题是什么是控制和治疗?请问采用农业技术的人是对照组吗?在我的情况下,我该怎么称呼那些不接受的人呢?谢谢提前

匿名者的照片
爱德华多·恩里克·佩雷斯

卓越的调查团队!!!!!

匿名者的照片
亚伯拉罕Lebeza

谢谢你的影响评估材料

匿名者的照片
塞西莉亚巴伯

我发现这个网站非常有帮助,在我的脑海中把各种各样的文本连贯在一起。我正在写一个项目管理和评估的硕士实习。

添加新注释

登录登录并作为BetterEvaluation成员进行评论,或者简单地填写下面的字段。