评价评估

以可靠和可信的方式评价一项干预措施的程度的评估。

本综述基于文献综述评价委员会委托进行的评估英国国际发展部(DFID)于2012年出版为英国国际发展部工作文件(Davies 2013)。检讨鉴定了133份自1979年以来出版的文件,包括期刊文章、书籍、报告和网页。大约一半的文件是由国际发展机构编写的;剩下的大部分文件涉及美国国内机构的经验评价评估(后者最近被总结为Trevisan皮尔泽,2014)。

什么是可评估性?

国际发展机构似乎对“可评价性”一词的含义达成了广泛的一致意见。经济合作与发展组织-发展援助委员会(OECD-DAC)的定义被广泛引用和使用:

以可靠和可信的方式评估一项活动或项目的程度。(OECD-DAC 2010;21页)

2在哪里使用?

可评估性评估自20世纪70年代以来一直在使用,最初是美国的政府机构,后来被更广泛的国内组织使用。自2000年以来,国际发展机构一直在使用可评估性评估。虽然可评价性评估最常见的重点是单个项目,但也对一系列项目、政策领域、国家战略、战略计划、工作计划和伙伴关系进行了可评价性评估。

可评估性评估检查什么?

DFID关于可评估性评估的工作文件(Davies 2013)确定了可评估性的以下维度:

  • 可评估性“原则上”,给出了项目性质理论的变化
  • 可评价性“在实践中”,要考虑到有关数据的可得性和管理系统能够提供这些数据的能力。
  • 考虑到相关利益相关者的观点和可用性,评估的效用和实用性

可评价性评价的总目的是通知评价的时间,并改善评价产生有用结果的前景。然而,可评价性评估的重点和结果将取决于评估的时间,如下所示。早期评估可能对长期可评价性有更广泛的影响,但后期评估可能提供最新的可评价性评估。

项目阶段

评价评估重点

评价评估结果

设计

变化理论(ToC)

改进的项目设计

《盗梦空间》

ToC和数据可用性

改善机电框架

实现

ToC、数据可用性和利益相关者

改进的评估职权范围(tor)

如何进行可评估性评估?

通常提供两种形式的建议。第一个是关于活动的顺序,以各种阶段模型的形式给出。第二个是关于查询的内容,通常以检查表的形式组织。

阶段模型包括基本上可预测(但经常重复)的步骤,包括规划、咨询、数据收集、分析、报告编写和传播。其中两个值得在这里评论:

第一个与规划阶段有关。可评价性评估的一个重要早期步骤是就任务的边界达成协议,这包括两个方面:

  1. 可评价性评估应在何种程度上从对可评价性的诊断进展到开出处方,然后执行解决可评价性问题所需的变化。例如,修订变更理论或发展监测和评价框架。
  2. 需要分别识别并检查和访谈的项目文档和涉众的范围。这些选择对需要完成的工作的规模和持续时间有直接的影响。

第二个阶段与分析阶段有关,在此阶段可以确定两项任务:

  1. 在基础上是对一个特定的核对表问题的多个文档和访谈的答案的综合。在这里,评估需要:(a)关注数据的效度和可靠性;然后,(b)确定共识和离群观点。
  2. 下一个层次是在给定的可评估性维度内综合多个问题的答案。在这方面,评估需要:(a)确定是否存在任何“障碍”问题,在取得任何其他进展之前必须消除这些问题;然后,(b)评估所有其他问题的相对重要性。

检查清单许多国际机构都在使用,其严格程度和灵活性各不相同。它们的使用充其量提供了一种负责任的手段,以确保系统地报道所有相关问题。英国国际发展部的工作文件将11个不同机构使用的清单综合成一套三份清单,涵盖了上面列出的可评估性维度。这些可以提供一个有用的“启动包”,可以根据情况进行调整。如果需要计算可评价性(或可评价性的多个方面)的综合分数,那么需要明确注意检查表上每个项目的权重。不太可能所有项目都同等重要。

需要花费多少时间和金钱?

完成可评估性评估所需的时间从几天到一个月或更长。关键的决定因素是需要多大程度的涉众协商,以及是否涉及多个项目。设计阶段的可评估性评估可能主要基于案头工作进行,而在提出评估前的可评估性评估更有可能需要广泛的利益相关方磋商。

重要的是可评价性评估的成本和评估成本之间的关系,而不是其绝对成本。当可评价性评估的比例成本很高时,相应地,需要在评估结果上做出较大的改进,以证明这些成本是合理的。

你什么时候去?做可评估性评估?

乍一看,一些项目设计显然毫无价值,而一些M&E框架显然不足。在这种情况下,不需要进行可评估性评估来决定是否进行评估。需要将工作重点放在改进项目设计和/或M&E框架的更直接的任务上。

在其他情况下,建议的评估的成本可能很小,因此,在可评价性评估中进行额外投资的成本效益可能是有问题的。另一方面,对于大型项目,即使那些看起来相对可评估的项目,在可评估性评估中的投资仍然可以交付具有成本效益的变更。

可评估性评估有哪些替代方案?

在项目的设计和批准阶段,相关的质量保证过程可以包括面向可评估性的问题。可评估性评估的过程实际上可以在现有系统内制度化,而不是作为一个特殊事件进行承包。

在初始阶段,一些组织可能会例行地委托开发一个监测评估框架,从本质上解决可评估性问题。或者,他们可能已经建立了评估评估系统的审查程序,这些程序比DFID工作文件提供的那种通用的可评估性评估工具更有针对性。

在提出评估之前,一些组织可能会委托比可评估性评估范围更广的准备工作。方法文件可能涵盖可评价性评估清单中列出的问题,但也扫描更广泛的文献,以获得支持和反对正在评估的干预措施类型的相关性和有效性的证据。

一个例子

2000年,英国咨询公司ITAD开展了一项调查28个人权和治理项目的可评价性评估由瑞典国际发展合作组织(Sida)在非洲和拉丁美洲的四个国家资助(Poate et al. 2000)。这一评估在许多方面都令人印象深刻。分析是在一份结构化清单的帮助下完成的,该清单有助于将参与研究的顾问的治疗分歧最小化。采用辅助问题的方法对19项评价标准进行调查,并对每项标准进行打分。发现的最常见的可评估性问题与无法获得数据有关,其次是项目设计问题,包括目的不够明确和因果归因困难。尽管如此,作者还是阐明了一系列可以探索的评价选择,以及解决已查明问题所需的能力建设工作类型。他们的报告包括对所有标准的所有项目进行评级的完整清单数据集,从而使其他人能够在考虑到其他研究或评价目的的情况下对这一经验进行进一步分析。

一些建议

设计检查表可以有效地从理论中得到信息,而不仅仅是临时的或基于经验的推测。来源可以包括相关的评价标准、道德规范和评价使用研究的综合。

清单权重已经被一些机构使用。由于可能的评估方法和特定的评估环境的多样性,很难为给定的检查表证明任何普遍适用的权重集。然而,权重可以在“事实之后”分配(即。,在特定背景下对特定项目进行特定的可评估性评估之后)。像所有好的权重一样,它们的使用需要有文字说明。

一些工具

所附工具可进一步适应特定需求/环境。请随时在本页的评论中分享您的可评估性评估经验,或推荐其他资源。

参考文献

戴维斯R(2013)。规划可评价性评估:文献综合与建议. 国际开发部工作文件40。网址:https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/248656/wp40-planning-eval-assessments.pdf

OECD-DAC(2010)。评估和基于结果的管理中的关键术语术语表.巴黎:OECD-DAC。可以在:http://www.oecd.org/development/peer-reviews/2754804.pdf

(2004)。《民主和人权项目的可评价性》第1和2卷。可以在:www.oecd.org/derec/sweden/46223163.pdf

崔维森M Walser T(2014)。可评价性评价:提高评价质量和利用。圣人的出版物。看到的:https://methods.sagepub.com/book/evaluability-assessment

资源

影响评价的可评价性评价

本文件概述了在进行影响评估之前实施可评估性评估的效用、具体指导和工具。该指南是专门为进行可评估性评估而制定的,作为影响评估方法实验室的一部分——海外发展研究所(ODI)、BetterEvaluation(BE)和澳大利亚外交和贸易部(DFAT)之间的行动学习合作。在阿富汗、尼泊尔和太平洋地区的评估期间,根据一系列评估人员和评估专员的反馈,对其进行了试点和进一步完善。阅读更多

文学

规划可评价性评估:文献综合与建议.(戴维斯,2013)

本报告综合了到2012年关于可评价性评估的文献。综合报告的主要重点是国际机构的经验和与其工作领域有关的建议。该综合报告提供了关于使用可评价性评估的建议。

可评价性评估的参考书目(戴维斯,2012)。

本参考书目包括与可评价性评估相关的一系列文献的链接。

可评估性评估:提高评估质量和使用.(Trevisan M, Walser T, 2014), Sage出版社。

这本书总结了丰富的美国国内代理经验。可评估性评估过程的各个阶段由单独的章节描述,每个章节包括要检查的问题清单以及案例示例。

向导

可评估性评估:检查评估计划的准备情况:这本指南来自青少年司法评估中心旨在为青少年司法项目经理提供实施可评估性评估的指南,以确保项目准备好进行评估。

关于开展可评估性评估的指导说明:这本指南来自联合国妇女发展基金(妇发基金)是为了确保方案管理人员了解可评价性评价背后的关键概念。

可评价性评价与评价方法选择:本次网络研讨会强调了开发项目可评估性评估的重要性,并讨论了经理可使用的各种评估方法的适用性。

工具

评价评估模板:此模板来自联合国毒品和犯罪问题办公室(毒品和犯罪问题办公室)旨在逐步引导用户进行可评价性评估。

引用这个页面

戴维斯r(2015)。评价评估.BetterEvaluation。从检索//www.szbpn.com/themes/evaluability_assessment

特别感谢本页的贡献者
作者
MandE NEWS监测和评估顾问。
联合王国。
审核人
主任,评估能力加强,更好的评估。
澳大利亚墨尔本。

评论

目前没有评论。第一个在这个页面上发表评论!

添加新注释

登录登录并作为BetterEvaluation成员进行评论,或者简单地填写下面的字段。