持续和新兴的影响评估(SEIE)

1.SEIE是什么?

持续和新兴影响评估(SEIE)是指在干预结束后(可能是一个项目、政策或一组项目或计划)或参与者参与持续干预结束后一段时间内关注影响的评估。它审查了预期影响持续的程度,以及随着时间的推移出现了哪些非预期影响(积极和消极)。

这种类型的评估通常被称为“项目后”影响评估,以区别于接近结束或干预结束后不久进行的“影响评估”。标签,持续和新出现的影响评估,强调注重长期影响,并需要不仅包括预期影响,还意外影响。

SEIE可以识别导致许多活动和成果在数年后持续存在的因素(例如,参与者仍然保留知识和实践特定行为)和持久影响(例如,项目后营养不良的持续减少)。SEIE还可以记录新出现的或意想不到的结果,如知识的传播和应用到新的社区,或参与者和合作伙伴从项目中获得的完全意想不到的新方向,或他们自己从提供的培训中获得的新联系。

这是最常见的与有限的时间内干预措施,如资助或通过国际发展机构,多边组织或慈善基金会,或资助由一个国家的政府在一段时间地方项目实施的项目进行。

2.塞里为什么?

SEIE提供项目/项目周期评价“缺失片”,如图所示,在下图中,由开发重的声音:

如图所示,当可持续性目标在项目设计中明确时,它们也成为整个项目周期监测和评估的组成部分。因此,SEIE在理想情况下是可持续性评估过程的顶点。

然而,在资助结束数年后再进行评估是很少见的。许多“影响评估”仅评估项目接近尾声时的影响,因此根据不完整的证据得出干预措施持久价值的结论。

持续和新出现的影响评估对于问责制很重要,因为它包括了预期受益人和负责项目结束后继续开展活动的机构的声音。SEIE促进对持久结果的了解,并有助于为未来更好的干预措施提供信息。SEIEs可以提供关于过去设计质量的重要课程,在什么环境下工作以及为什么工作。当关于可能的变化轨迹的信息不足时,SEIE尤其重要——影响将如何随时间变化。

在项目结束时的调查结果并不总是持久受益的一个可靠的预测。干预结束后,什么可能发生的是,已经取得的效果可能会维持,增加,或减少。另外一个重要的影响可能会出现。一个SEIE云集的证据来理解已经发生,其中这些,以及如何。例如:

持续的影响:一个儿童中心在肯尼亚的民生工程,国际非政府组织恢复到九年后发现,一些投资得以持续。水箱和VIP厕所维持作为人的健康和金融服务建筑和爱尔兰土豆(国际计划2010)。

增加的影响:A.粮食安全项目在尼日尔,促进了持续的农业实践,在关闭三年后,粮食安全改善了30%。这些持续的结果被认为是由于合作伙伴和参与者参与了两年多的交接过程(CRS尼日尔,2015)。

A.微型企业项目包括培训参与者成为“变革的代理人”的项目在项目结束后取得了更多的成果,微型企业银行扩大了规模,资产增加了两倍(PACT Nepal, 2006年)

减少影响:A.审查数据超过20万个水系统显示,安装10年后,大约有四分之一不再运行(IDB 2016)

新兴的影响:一个干旱/康复项目减少妇女在水运中的劳动在减少性别暴力方面有意想不到的积极结果(路德会世界救济/盖茨基金会,尼日尔2013)

如果没有这些额外的信息,关于资助什么、下一代项目设计以及实施和监测战略的决定,在许多情况下依赖于假设,这些假设是基于在项目周期期间和结束时资源仍在流动时所发生的情况。

如果仅在资助结束时评估干预措施的影响,就会产生一系列风险,包括:

  • 做出选择是为了达到短期结果的水平或类型,而这些短期结果无法持续或不会导致长期影响

  • 最终更可持续和更有效的方法的价值将得不到赏识,有效的投资和方法将过早终止

  • 新兴的影响是完全隐藏的,从我们的理解中隐藏了我们对足够重视的社区的课程,以维持自己的资源或从我们催化的东西创造的社区的教训。

这些课程是设计和新资金,监测和评估的关键。

可持续发展目标

鉴于国际社会对所有国家可持续发展目标的关注,重要的是进行评估,以建立关于什么能有效产生持久利益的知识。SEIE可以为实现可持续发展目标做出有价值的新贡献,它阐明了在特定环境下长期持续的东西。目前SGD指标实际上并没有将干预措施的可持续性与部门指标的状况和随时间的变化联系起来。将SEIE数据(作为前哨点)加入到可持续发展目标跟踪中,了解哪些干预措施对国家层面的持续改善起到了或没有起到作用,这对未来的进展和规划非常有启发意义。

通过让参与者、利益相关机构和当地评估人员参与评估过程,促进(国家或地区)当地对结果的所有权,可以鼓励对结果的使用。

3.什么时候做SEIE?

SEIE评估的时间应该取决于预期的变更轨迹。它需要足够长的时间,以便能够从最初的影响中看到一些变化,但又不能太长,以至于难以收集数据,也不可能利用这些信息来提供决策。

许多SEIEs是在干预结束后的2到10年之间进行的。在某些情况下,时间要长得多,例如,评价国际发展项目的长期影响科西山尼泊尔地区审查了在30年内在该地区实施的各种项目和方案的合并和持久影响。

4.谁应该参与评估过程?

关于可评估性、职权范围、评估组概况和评估所管理的许多决定需要达成。

关于SEIE的范围的决策可能会通过:

  • 原来的出资者
  • 当地的执行机构
  • 当地社区组织
  • 国家受援国政府
  • 研究机构
  • 上述的组合。

参与进行评价的人员(在收集、分析和报告数据以及澄清应采用的评价标准方面)可能包括:

  • 原资助机构
  • 地方执行机构
  • 外部评估人员或评估小组不在该国或社区
  • 当地的评估人员或评估小组
  • 当地社区
  • 上述因素的组合

F或例如,Koshi山SEIE由尼泊尔政府和英国国际发展部共同管理,并由外部评估员的联盟进行,包括与当地评估人员合作工作的国际评估人员。许多各地被国际非政府组织私下资助,内部管理,并由外部评估人员进行。

为了了解当地环境和影响影响影响可持续性的因素,让当地实施者、社区成员和当地评估人员参与是很重要的。由本地和外部评估人员组成的联合评估团队可以提供相互学习的机会,充当期望和假设的宝贵传声筒,并根据国际趋势确定调查结果。

跟随内嵌的链接获取更多关于选项的信息管理评价,决定谁来进行评估, 和参与式方法

5.什么过程和方法可以用来做SEIE?

与任何评估一样,有不同的方法和过程可以使用,并且应仔细选择以适应塞维的目的,所评估的性质狗万取款手机客户端以及时间,金钱,数据等的可用性资源。理想情况下,塞维计划纳入规划干预监测和评估系统。

制定计划理论

发展一种包括可持续性理论的变化理论可能会有所帮助,即预期的影响将如何持续?

  • 设计明确地预测了影响的可持续性还是短期结果?
  • 干预是否需要持续的资金支持(例如,当地用户是否需要支付维护供水基础设施的费用)?或者当地机构是否会提供持续的资金或人员来维持这项服务?
  • 参与者是否有能力维持活动本身(例如,了解价值链个体来维持营销?)
  • 或将影响忍受甚至超过即使活动不(例如,在社会规范或技术变革的影响,改革性的变化)的预期。

例如,美国国际开发署/粮食换和平组织通过了一项四支柱退出战略和可持续性框架它认为能力、资源、动机和联系是捐助资金之外的“变革催化剂”。

“最佳评估”任务页发展变化理论对发展变化的理论,以进一步阅读了大量的资源一起指导。

确定“成功”是什么样子的

利用正式和非正式的资料来源,有许多备选办法可用于确定可能用于评价的标准和标准。还有一些选项可以用来协商应该使用哪些选项以及如何权衡它们。“最佳评估”任务页确定“成功”是什么样子的有链接到这些选项中的一些。

一种通常被推荐用于SEIE以确定成功的方法是参与式方法.当采用参与式方法时,用于定义“成功”的价值来作出评价判断,在理想情况下不仅会反映出资人的标准和标准,而且会特别反映打算成为干预措施受益者的社区。在作出以下决定时,应考虑到他们对成功的不同看法:

  • 评估中应包括哪些影响,
  • 什么级别的表现将被视为成功,并且
  • 绩效将如何被综合成一个整体的判断-特别是,积极的影响是否会被消极的影响所压倒,以及利益的分配是否被考虑在内(例如,最弱势的人是否从项目中获得任何利益,一些利益,还是最大的利益?)

描述影响

测量或描述影响以及条件随时间变化的方式有很多选择,包括:

一手数据和一手数据的有效结合分析方法和适当的抽样和足够的响应率,是理想的,以三角之间的任何一个数据源的限制。包括审查来自组织的自我报告数据在内的案头审查本身不太可能是充分的。

考虑到在干预结束一段时间后进行SEIE的挑战,当参与者或关键信息提供者(包括实施人员)已经移动,无法从干预或参与者列表中获得完整的基线或终线数据时,在方法选择方面可能需要一些创造性。选择方法需要考虑评估是否会遇到利益相关者的阻力,因为项目承诺可能没有延续到项目后的现实中。

是特别有用的数据原始的项目结果,参与者和合作伙伴列表来查找和跟踪这些或其他受访者在实现期间密切相关,以及了解该地区和社区在几年到现在已经改变了。通常,在干预结束时,数据被汇总和隐藏在执行机构数据档案和报告中,这些数据档案和报告以PDF格式保存在捐助者的数据库中,很少在当地获得。直到最近,一些项目数据才开始以公开数据集的形式分享,这些公开数据集在全国范围内供地方评估小组使用。

了解原因

SEIE评估的一个主要挑战是因果推理-解释观察到的变化是否或在多大程度上归因于某一特定干预。在很长一段时间内,这是特别困难的,因为具有相同目标的项目在其间的同一地点开始实施,或者正在审查几个项目的综合影响。

在某些情况下,a反事实的设计已经从一开始就建立或可以为SEIE评估创建。

例如,对启智计划的长期评估跟踪了随机分配参加启智计划或进入对照组的儿童(我们的发病率,2010)。

在某些情况下,可以使用准实验设计,例如回归间断方法,并比较那些刚好高于或低于纳入干预的阈值的,或找到充分匹配的位点以创建对照组

然而,在许多情况下,可能需要一些创造性来创建一个可信的反事实小组,无论是前瞻性的还是回顾性的。如果无法创建可信的反事实,则需要非实验性选项——例如,进程跟踪,比较案例研究定性影响协议,它使用一系列数据来测试因果推断的合理性。这些方法和途径对于在拥挤的实施环境中调查特定项目对许多其他项目的贡献特别有用。

报告和支持使用

在开始SEIE之前,很重要的一点是要预测如何与那些可能从中受益的人分享研究结果。这包括执行机构,以及在相同背景下执行或资助类似项目的其他机构。当然,与被评估者(社区、地方合作伙伴和地方政府)分享调查结果也是至关重要的,这有助于确认准确性、知识管理和改善seie之后的未来规划。

可能需要各种报告格式,以使不同的听众能够了解调查结果。看到BetterEvaluation报告和支持使用任务为一些不同的报告方式的想法。

资源

讨论文件

建设项目后评价的证据基础:案例研究的审查和评价性清单:这个由劳里Zivetz和重视音色Jindra Cekan的快速转发基金报告来自八个和随后的后项目评估结束项目,比较的结果。由于其稀有性,有许多关于长期可持续性项目的影响几乎没有真正的证据。本报告旨在帮助建立这方面的证据。

网站

重的声音-网站上有很多关于这个问题的博客文章存储库超过30个SEIE,并链接到其他资源,包括先决条件成功SEIE

INTRAC:援助撤出和退出战略

反馈实验室:LabStorm总结:结果数据是否足以增加开发影响?

工具书类

Cekan,J.和Zivetz,L。(2016)。'缺失链接:持续和新兴影响评估'[博客]。BetterEvaluation。检索://www.szbpn.com/en/blog/seie.

Cekan,J.,Rogers,B.L.,Rogers,P.和Zivetz,L.(2016)。《拔出一棵更好的树:关于SEIE的课程——持续和新兴影响评估》。AEA演示文稿。检索自:http://valuingvoices.com/wp-content/uploads/2016/11/Barking-up-a-Better-...

美洲开发银行,评估和监督办公室(2016年)。农村地区饮水和卫生项目的绩效和可持续性研究(PR 0118).检索:https://publications.iadb.org/bitstream/handle/11319/7614/Study-on-the-P...

NPC / DFID(2013)。尼泊尔科西山区发展干预措施的长期影响研究.加德满都:国家规划委员会(NPC),尼泊尔政府/国际发展部(DFID)尼泊尔。检索:https://www.gov.uk/government/uploads/system/uploads/Attachment_data/fil ...

美国卫生和公众服务部,儿童和家庭管理局(2010年1月)。领先影响研究.总结报告。华盛顿特区。检索:HTTPS://www.acf.hhs.gov/sites/default/files/opre/executive_summary_final ...

重视声音网站(n.d.)检索:www.valuingvoices.com

引用这个页面

Cekan, J., Zivetz, L., and Rogers, P.(2016)。持续和新出现的影响评估.BetterEvaluation。从[月][日期]检索//www.szbpn.com/themes/SEIE

特别感谢本页的贡献者
著者
总统,重视Cekan咨询公司的声音。
美利坚合众国华盛顿。
著者
独立顾问,重视声音在Cekan咨询。
美利坚合众国华盛顿。
著者
首席执行官,BetteRevaluation。
墨尔本。
评论家
主任,加强评价能力,BetterEvaluation。
澳大利亚墨尔本。

评论

kyliehut的照片
凯莉·哈钦森

非常感谢这篇新文章!

我认为您将SEIE作为一种独特的评估形式进行介绍,将对我们理解项目的长期可持续性做出非常重要的贡献。

如果读者也以他们如何能促进方案的可持续性前期前端感兴趣,他们可能有兴趣在检查出我的新指南,生存与发展:确保项目可持续性的三个步骤

金德拉·切坎的照片
Jindra Cekan博士

亲爱的克莱尔、凯莉和辛迪

谢谢你的意见。我很高兴探索持久的利益(持续的影响)是有趣的!我想知道,你认为我们需要在评估实践和捐助者1)超越资金循环和个随机对照试验的方法重点和勇敢地寻找可能是“站”和2)合并的迷人的概念“新兴”——我们甚至不期望会出现结项?要做到这一点,人们还需要知道什么?很高兴有机会在这方面工作,正如凯莉所说,首先为它设计,辛迪的帖子指出,回到未来:)。热烈,Jindra

alice macfarlan的照片
艾丽丝·麦克法兰

让我们来谈谈持续和新兴影响评价 - 我们很想听听这方面的一些想法:

  • 我们如何将“新出现的”影响纳入项目后评估的范围,使它们不只是着眼于预期的结果和影响?
  • 你有没有进行过塞莉(或项目后的评估)?如果你有,你是怎么做到的?你面临的一些障碍是什么,你能够绘制的资源?
  • 您认为我们的评估实践和资助者需要采取什么措施来超越资助周期,并对项目或项目结束后一段时间内持续存在的情况进行评估?什么将有助于更广泛地进行这类评估?
  • 您对SEIE还有其他意见或问题吗?
金德拉·切坎的照片
Jindra Cekan博士

伊万,我完全同意你的名单!我们必须计划这些。劳里Zivetz和我刚刚完成了由迈克尔·斯克里文的转发速度更快基金(基金的资助)共同出资的报告。在这里面我们用8个案例研究,探索增值项目后评价带来的,而不是在最后评估结束。我们必须做好应对措施;理想情况下,我们会为可持续发展的设计从一开始,就像你说的太多。我们开发了一些清单,以帮助这一点。请参见:http://valuingvoices.com/building-the-evidence-base-for-post-project-eva..。

金德拉·切坎的照片
Jindra Cekan博士

读者可能会对我们的研究报告感兴趣,该报告由迈克尔·斯克里文(Michael Scriven)的快速发展基金(Faster Forward Fund)共同资助,显示了项目后评估与最终评估的增值,该报告在美国评估协会(American evaluation Association)和美国国际开发署(USAID)广受欢迎,我们于今年11月在美国国际开发署(USAID)上发表:

http://valuingvoices.com/building-the-evidence-base-for-post-project-eva..。

添加新评论

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。