结果收获

结果收获(“收获”)收集发生了什么变化的证据(“结果”),然后,反向工作,确定干预是否以及如何促成了这些变化。

结果收获已被证明在复杂的情况下特别有用,当不可能具体定义一项干预措施的目标,甚至在多年期间将采取什么具体行动。

什么是收获结果?

成果收获是一种评价方法,评估人员、赠款人和/或规划管理人员和工作人员在尚未完全理解因果关系的规划环境中确定、拟定、核实、分析和解释“结果”。

结果被定义为“明显的行为”(如行动、关系、政策、实践)一个或多个受干预影响的社会行动者。例如,一位宗教领袖发表了史无前例且被认为是重要的宣言;组织之间或社区之间行为的改变;法规、正式法律或文化规范的变化。

与某些评估方法不同,成果收集并不衡量实现预定目标或成果的进展,而是收集已发生变化的证据,然后反向工作,确定干预是否以及如何促成这些变化。结果可以是积极的或消极的,有意的或无意的,直接的或间接的,但干预和结果之间的联系应该是合理的。

利用一系列方法收集或“收获”信息,为有用的、可操作的问题提供基于证据的答案(“收获问题”)。

成果收获可用于监测和评价干预措施或组织(包括发展、形成或总结性评价)。

2.收获结果从何而来?

该方法受成果图的启发,并以Utilization-Focused评价.它是由Ricardo Wilson-Grau和他的同事*开发的,他们作为共同评估者,在不同的情况下应用它,并在多年的评估实践中进一步完善它。

*Barbara Klugman, Claudia Fontes, David Wilson-Sánchez, Fe Briones Garcia,Gabriela Sánchez, Goele Scheers, Heather Britt, Jennifer Vincent, Julie Lafreniere, Juliette majt, Marcie Mersky, Martha Nuñez, Mary Jane Real, nataliortiz, and Wolfgang Richert。

3.什么时候可以使用结果收获?

当结果,甚至是投入、活动和产出在规划干预时不够具体或不能衡量时,收获特别有用。因此,结果收获非常适合在动态、不确定(即复杂)情况下进行评估。

在以下情况下推荐收获结果:

  1. 重点主要是结果而不是活动.结果收获是为决策者(作为“收获用户”)最感兴趣的情况而设计的。换句话说,强调的是效力,而不是效率或绩效。当目标是理解变化的过程以及每个结果如何对这个变化做出贡献时,这种方法也非常适合。
  2. 编程环境很复杂.结果收获适用于因果关系尚未完全理解的编程环境。以确定结果为目的的常规监测和评价将计划的结果与实际实现的结果进行比较,将计划的活动与实际完成的活动进行比较。然而,在复杂的环境中,目标和实现它们的路径在很大程度上是不可预测的,预定义的目标和变化的理论必须随着时间的推移而修改,以响应环境中的变化。在这些更动态和不确定的环境中,意外结果(包括负面结果)占主导地位,收获结果尤其合适。因此,成果收获特别适合于评估社会变革干预措施或创新和发展工作。
  3. 目的是评估. 结果收集可用于跟踪受干预影响的社会行为者的行为变化。然而,它的目的是超越这一点,支持学习这些成就。因此,成果收获对于正在进行的发展性、中期形成性和期末总结性评估特别有用。它可以单独使用,也可以与其他方法结合使用。

“收获”的时机取决于收获结果对确保干预朝着正确方向发展的重要性。如果确定性相对较大,那么进行A将产生B,则收获的时间可以与预期的结果一致。相反,如果干预将取得的结果存在很大的不确定性,则应尽快安排收获,以确定实际取得的结果。

4.谁应该参与成果收获?

一个高度参与的过程是必要性收获过程和产品。

根据情况,由外部或内部人员(“收获者”)来领导结果收获过程。Harvesters促进和支持适当的参与,确保数据可信,分析证据的标准和标准是严格的,以及合成和解释的方法是可靠的。

“收获用户”是指需要调查结果做出决策或采取行动的个人或组织。他们应该在整个过程中参与进来。随着过程和结果的展开,这些用户必须参与有关方法的设计和重新设计的决策。此外,随着调查结果的产生,收获的主要用途可能会发生变化,这反过来可能需要重新设计决策。

采收者还需要与那些了解干预措施取得了什么成果以及如何取得成果,并愿意为了记录而分享他们所知道的内容的线人接触。部署在“离行动最近”的外勤人员往往是最好的线人。

5如何收获结果(概述)?

收割机从实施干预的个人或组织获取信息,其行动旨在影响结果,以确定社会参与者的实际变化以及干预如何影响他们。

“结果描述”的详细程度被认为对回答收获问题有用。描述可能是一个简单的句子或详细的一页或更多的文本。它们可能包括对背景的解释、与他人的合作或他人对具体结果的贡献;对结果的不同看法;以及结果的重要性。收集到的信息要经过几轮的修订,使其足够具体和全面,以便可核实。

随后,通过将选定结果的信息与从其他知识丰富、权威但独立的来源收集的信息进行比较,验证选定结果的信息。

最后,对经验证的成果描述进行分析和解释——无论是作为个人成果还是作为一组成果——以了解其在实现任务、目标或战略方面的重要性,并用于回答收获问题。

如何收获结果(6个关键步骤)?

结果收集方法应根据主要预期用户/用途的特定需求进行定制。下文讨论的六个“步骤”更多地是作为指导原则,而不是要遵循的僵化公式。尽管如此,严格执行所有六项原则对于取得可靠的成果是必要的。

  1. 设计结果和收获:第一步是确定收获的主要预期用户以及他们对收获过程和发现的主要预期用途。在此基础上,收获用户和收获者同意需要知道什么,并编写有用的、可操作的问题来指导收获(收获问题)。例如,一个有用的问题可能是:什么受让人的集体效应是否使国家治理制度更加民主这是什么意思投资组合的策略?然后,为了回答问题,他们同意收集哪些信息,从谁那里收集。这至少涉及获取有关社会行动者的变化以及干预如何影响他们的信息。

  2. 审查文档并草拟结果描述:从报告、以前的评价、新闻稿和其他文件中,采收者确定了潜在的结果(即个人、团体、社区、组织或机构的变化)以及干预措施对这些变化的贡献。例如在美国,变化可以是总统公开承诺保持透明(行为);两个政府机构合作而不是竞争(关系);解雇腐败公务员的部长(行动);立法机关通过了新的反腐败法律(政策);或者是连续第三个政府公布其采购记录(惯例)。变革推动者的影响可以从激励和鼓励、促进和支持,到说服或施压社会行动者进行变革。

  3. 与信息提供者一起制定结果描述:矿车直接与线人接触,根据文档审查结果描述,并确定和制定额外的结果。告密者通常会咨询他们组织内外的其他人,了解他们所贡献的成果。

  4. 证实: Harvest用户和harvesters审阅最终结果,并选择需要验证的结果,以增加结果的准确性和可信度。收割者获得一个或多个独立于干预(第三方)的个人的观点,但了解一个或多个结果和变化代理的贡献。

  5. 分析和解释:矿车,对所有结果进行分类,经常与线人协商。分类通常来源于有用的问题;它们也可能与干预的执行者或其他利益攸关者(如捐助者)的目标和战略有关。对于大的、多维的收获,需要一个数据库来存储和分析结果描述。收获者解释信息,并为收获问题提供基于证据的答案。

  6. 支持使用调查结果: Harvesters提出了一些问题供讨论,以基于证据的答案收获用户。它们促进了与用户的讨论,其中可能包括他们如何利用这些发现。

这些步骤不一定是截然不同的;它们可能是重叠的,也可能是迭代的;反馈可以激发决定重新设计下一个步骤,或者返回或修改前一个步骤。通常,步骤4(证实)和步骤5(分析和解释)的反馈不会影响前面的步骤;第六步(支持使用)的反馈只影响第五步(分析和解释)。尽管如此,所有步骤的反馈当然可以影响关于未来收获的决策,无论是出于监测还是评估的目的。

应该注意的是,“结果收获”是经常进行的,以了解变化代理人正在实现什么。根据所涵盖的时间和所涉及的结果的数量,该方法可能需要举报人的大量时间承诺。为了减轻举报人的时间负担,可以按月、季度、半年或一年收集结果。调查结果可能不那么频繁地被证实、分析或解释。

上面的步骤将在结果收获威尔逊-格劳R和布里特H(2013)。

7成果收获在何处使用,由谁使用?

非政府组织、社区组织、网络、政府机构、资助机构、大学和研究机构在超过143个国家使用了成果收获。2013年,联合国开发计划署(UNDP)评价办公室将“收获成果”选为11个项目之一有前途的创新在监测和评价实践中。在世界银行学院的10个小组试点了一种定制版本的成果收集后,为该学院定制的方法和工具被列入其内部监测和评价资源中。美国国际开发署(USAID)选择“收获成果”为五种方法之一特别适用于动态、不确定情况下的监测和评估。

因此,结果收集已被证明是一个有用的方法,在不同的地方和不同的干预。一些例子:

8 .收获结果的优势和局限性

以下是公认的的优势结果收获:

  • 克服在寻求干预措施意外结果方面的共同失败;

  • 生成可核查的结果;

  • 使用一种常识性的、可接近的方法,很容易让线人参与进来;

  • 采用各种数据收集方法,如访谈和调查(面对面、电话、电子邮件)、研讨会和文件审查;

  • 用具体的证据回答可采取行动的问题。

限制和挑战包括:

  • 确定和拟订高质量的结果说明需要技能和时间以及及时性;

  • 只有告密者知道的结果才会被捕获;

  • 影响结果的人的参与至关重要;

  • 从结果开始,向后看,对于一些参与者来说,这是一种新的思考变化的方式。

9资源

  • 什么是收获?: Ricardo Wilson-Grau(2014年9月)在这个简短的视频(< 3分钟)中解释了结果收获方法的本质。

  • 结果收获本文由Ricardo Wilson-Grau和Heather Britt撰写,介绍了成果收获(Outcome Harvesting,福特基金会于2012年5月出版;2013年11月修订)。

  • OutcomeHarvesting.net:这个网站是一个应用程序、事件和资源的来源,以支持成果收获的从业者社区的发展。BetterEvaluation是OutcomeHarvesting.net的三个姐妹网站之一。

  • 结果收集论坛将就世界范围内关于如何将这一替代方法用于监测和评价的经验教训进行讨论,并提出质疑和推进。

引用这个页面

Wilson-Grau, r (2015)结果收获.BetterEvaluation。从检索//www.szbpn.com/plan/approach/outcome_harvesting

特别感谢本页的贡献者
著者
Ricardo Wilson-Grau Consultoria em Gestão Empresarial ltd .负责人
巴西里约热内卢。
评论家
主任,评估能力加强,更好的评估。
澳大利亚墨尔本。
评论家
用户体验设计师/信息架构师,更好的评估。
澳大利亚墨尔本。

评论

Awuor PONGE博士的照片
Awuor PONGE

谢谢里卡多的分享。这是对您之前为福特基金会在中东和北非地区发表的相同主题的工作的很好的总结和补充。我用这个来帮助我的学生,性别与发展方面的参与性方法和工具。我把它作为一种新兴的参与式评估方法。下次,我将邀请你通过网络研讨会直接向我的学生展示,这样他们就可以直接从马的嘴里得到它。简单说一下,里卡多,我们如何使成果收获注重性别平等?这将很好地融入我在单位所教的关心。谢谢你,里卡多!

里卡多Wilson-Grau的照片
里卡多·威尔逊·格劳

谢谢你的关注和这个问题。如果你给我发邮件,我会建议我们举行“对话”,讨论如何在OH论坛上收获性别敏感和公平的成果,因为坦率地说,我不是回答你问题的最佳人选。Ricardo.Wilson-Grau@inter.nl.net

里卡多Wilson-Grau的照片
里卡多·威尔逊·格劳

感谢Awuor提出的问题,也感谢您允许我在收获成果论坛(参见上面9个参考资料中的链接)上展开讨论。我有一个方法学上的答案,我确信,在使用“成果收获”(Outcome Harvesting)进行明确促进性别平等或注重公平的监测评价,以及进行发展性、形成性或总结性评价方面,我的同事比我经验丰富。

我的方法建议:

1)我确保职权范围明确或至少含蓄地要求主要目标用户的一个或多个主要用途是成果收获过程和产品是性别敏感的或注重公平的,或两者兼备。

2)如果指导“成果收获”应用的收获或评价问题没有促进性别平等或注重公平,或两者兼之,在谈判职权范围时,我明确规定。

3) 在收割设计中,我确保回答收割问题所需的信息,以及如何收集这些信息,是性别敏感的或以公平为重点的,或两者兼而有之。

通常,对于2)和3)它将是一个或多个共同评估专家在这些领域,谁将与主要用户和我一个适当的过程。也就是说,性别反应或公平焦点不仅要在方法论上合理,还要适应主要用户对这些术语的理解,并将其与Outcome Harvest应用的具体使用情况相关联。

4)然后,在整个成果收获过程中,主要用户、共同评估者和我将检查性别反应或公平重点,并在必要时进行调整,就像我们检查确保收获过程和发现在其他主要用途中被证明是有用的一样。

这里是我的方法论建议。希望本论坛的同事们能够向Awuor展示他们是如何在性别响应或注重公平的监测和评价中定制使用成果收获的。

Awuor PONGE博士的照片
Awuor PONGE

亲爱的里卡多!

非常感谢您的快速回复。我非常感谢你对方法学指导方针的意见,我希望这将为这场辩论和前进的步伐奠定基础。

当我们思考方法论指导方针时,我们是否也能思考我们如何能使这个过程促进性别平等?我们能否谈谈收获成果的六个步骤中的每一个步骤都发生了什么,以及每一个步骤如何解决性别问题?

我期待着向本论坛的所有成员学习,无论是从他们如何开展这一进程的实践中,还是从如何开展这一进程的理论建议中。

非常感谢你,里卡多。

Awuor PONGE博士的照片
Awuor PONGE

感谢Benson Chakaya和Ole Stage的评论。我期待着很快在这里总结这些贡献。这里的材料非常有用,甚至我的学生都很欣赏。我在这里与他们分享了一些贡献。

匿名的照片
帕特里克

亲爱的管理员,

我想请求成为这个令人兴奋的论坛的一部分

wmusyoka的照片
Wicliffe

我一直在后台跟踪这些讨论,分享的信息非常丰富和清晰。我会向你提出问题,如果我遇到任何挑战,你愿意帮助!

问候,

Wicliffe

匿名的照片
侯赛因·j·默罕默德

谢谢里卡多的分享。这真的对我很有帮助,因为我即将开始一个新的使命,用成果收获的方法来评估一个和平建设计划的成果。

匿名的照片
罗伯特Kakuru

我想成为一个更好评价的成员。我需要什么?

匿名的照片
安东尼Ombara

这是一个很好的方法

添加新评论

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。