以利用为重点的评价

也可在: 西班牙人
同义词:
以使用为中心的评估、以利用为中心的评估、以利用为中心的评估

由Michael Quinn Patton开发的专注于利用的评估(UFE)是一种基于评估应该根据其对预期用户的有用性来判断的原则的方法。因此,评价工作的规划和进行方式应当是加强对调查结果和评价过程本身的可能利用,以便为决定提供信息和改进业绩。

UFE有两个基本要素。首先,必须清楚地识别评估的主要预期用户,并在评估过程开始时亲自参与,以确保能够识别他们的主要预期用途。其次,评价者必须确保主要预期用户对评估的预期用途指导关于评估过程的所有其他决定。

UFE关注的不是一般和抽象的用户和使用,而是真实和具体的用户和使用。评估员的工作不是独立于预期用户做出决定,而是促进那些将使用评估结果的人做出决定。

Patton认为,关于评估的研究表明:“如果预期用户理解并感到对评估过程和结果的所有权,他们更有可能使用评估;如果他们积极参与,他们更有可能理解并感到所有权。”通过积极地让主要目标用户参与进来,评估者正在为使用做准备。(巴顿,2008,第三章)

UFE可用于不同类型的评估(形成性、总结性、过程性、影响性),并可使用不同的研究设计和数据类型。

根据上下文和情况的需要,可以以多种方式使用UFE框架。Patton最初的框架由5个步骤组成,如下例所示。然而,也有一个12步框架(见以利用为重点的评估(U-FE)清单下面概述了17个步骤的最新更新。

17步UFE框架

  1. 评估和构建计划和组织的准备情况,以利用为重点的评估
  2. 评估并提高评估人员进行以利用为中心的评估的准备程度和能力
  3. 识别、组织和吸引主要目标用户:个人因素
  4. 与主要预期用户联合进行的情况分析
  5. 通过确定优先级目的来确定主要预期用途的优先级
  6. 考虑并在过程中使用IF和适当的
  7. 重点优先评价问题
  8. 检查评估调查的基本领域是否得到充分解决:实施、结果和归属问题
  9. 确定正在评估的干预模式或变化理论
  10. 协商适当的方法,以产生可靠的结果,支持预期用户的预期用途
  11. 确保目标用户了解潜在的方法争议及其含义
  12. 模拟结果的使用:评估相当于一次彩排
  13. 收集数据并持续注意使用
  14. 整理并呈现数据,供主要目标用户解释和使用:分析、解释、判断和建议
  15. 编写评估报告,以便于使用和传播重要发现,扩大影响
  16. 跟进主要目标用户,以促进和加强使用
  17. 使用的元评估:负责、学习和改进

例子

本例使用了5步UFE框架。

国际竹藤网(INBAR)
2006年底,国际竹藤网络邀请其中一位作者(Horton)对其项目进行评估。INBAR总部位于北京,其使命是在确保竹藤资源基础的可持续性的同时,改善竹藤生产者和用户的福祉。荷兰政府最初要求并为这项评价提供资金,作为赠款结束时的要求。

第一步。确定主要的预期用户。第一项任务是确定评估的“真实”目的和潜在用户。这一过程始于与INBAR主任的面对面会议,以及与荷兰外交部主管官员的电话交谈,这表明双方的意图是评估有助于加强INBAR的方案和管理。在对INBAR总部的首次访问中,确定了其他利益相关者,包括INBAR董事会成员和当地合作伙伴。

步骤2。获得对UFE的承诺并专注于评估。从一开始,关键的利益攸关方就致力于利用评估来改进INBAR的工作。因此,主要任务是确定INBAR组织发展的关键问题。采用了三个备选办法:(1)为期一天的参与性工作人员讲习班,以审查国际司法机构最近的工作,并确定主要优点、缺点和有待改进的领域;(2)与管理人员和工作人员的访谈;(3)提出一个涵盖战略、管理系统、规划和成果等广泛领域的评估框架。

步骤3。决定评估选项。与荷兰外交部就评估进行了初步互动职权范围(ToR),大多数互动是与INBAR管理人员、工作人员和现场合作伙伴进行的。会议共同决定,国际生物多样性研究所将编写一份关于其最近活动的综合报告(根据评价人提出的大纲),并在总部组织一次自我评价讲习班。评估员将参加本次研讨会,并在中国、加纳、埃塞俄比亚和印度进行实地访问。INBAR区域协调员提出了实地访问的时间表,然后与评估员进行了协商。

第四步。分析和解释调查结果并得出结论。在每次实地访问结束时,与当地INBAR工作人员举行了一次情况介绍会。实地考察结束后,在INBAR总部举行了为期半天的情况介绍会和讨论会;这是对所有工作人员开放的。在这次会议之后,评价人会见了个别工作人员,他们表示希望对评价过程有更多的个人投入。随后,INBAR管理人员和工作人员被邀请对评估报告草稿进行评论和更正。

第五步。传播评价结果。评估员亲自会见了三位INBAR捐助者的代表,讨论了评估结果,并向INBAR捐助者、工作人员和董事会提供了最终报告。报告摘要发布在INBAR网站上。

评估的效用。评价过程有助于使一些问题浮出水面,并探讨加强该机构方案的备选办法。例如,评价的一个结论是,非洲资源管理处应设法加强其在非洲的工作,并将项目管理责任下放到该区域。随着新项目的开发,这个方向有了逐渐的进展。非洲区域办事处最近在亚的斯亚贝巴开设了东非区域办事处,并更加强调与区域和国家伙伴的合作。

资料来源:巴顿,M.Q.和霍顿,D.2009。以利用为中心的农业创新评估。国际劳工认证合作(ILAC)第22号简报。ILAC,生物多样性,罗马。

劝告

使用此方法时的通知

  • 虽然原则上有一个简单、一步一个脚印的逻辑来展开以利用率为重点的评估,但在现实中,该过程很少如此简单或线性。例如,评估人员可能会发现,随着评估的进行,新用户变得越来越重要,或者在选项决策过程中出现新问题。集中评价问题和作出选择决定的过程之间也不一定有明确和明确的区别;问题告知选项,方法偏好可以告知问题。
  • U-FE需要评估促进者的积极和熟练的指导和促进。
  • 可用于评估的时间资源必须明确协商,从一开始就内置,并在协议中说明。U-F评估本质上是协作性的,在整个过程的每一步,都需要使用评估结果的人投入时间和积极参与。如果在评估开始后添加了新的用途或用户,则可能需要额外的资源。
  • 必须明确说明可用于评价的财政资源。它们必须包括不仅仅是分析和报告的财政资源。必须提供便于使用的资源。
  • 在进行U-F评估时,评估者必须仔细考虑所做的每一件事,从开始到结束,将如何影响使用。

资源

指南

工具

  • 以利用为重点的评估(U-FE)清单:由Michael Quinn Patton在2002年设计,这是一个全面的清单,用于进行利用重点评估。它提请注意进行以利用为重点的评估(UFE)的必要任务和相关挑战。

例子

来源

巴顿,M.Q.(2008)。以利用为重点的评估,第四版。加利福尼亚州千橡市:鼠尾草。

Patton, M.Q.和Horton, D.(2009)。以利用为中心的农业创新评价。学习与变革研究所(ILAC)简介第22号。ILAC,生物多样性,罗马。

评论

大卫·麦克唐纳的照片
大卫·麦克唐纳

谢谢,这里的材料已经很好了。

参考文献和进一步阅读的清单可能包括巴顿,MQ 2011,《以利用为中心的评估要点:初级读物》,Sage出版物,千橡树。

帕特里夏·罗杰斯的照片
帕特里夏·罗杰斯

谢谢你,大卫。我们已经按照你的建议添加了这个很棒的资源。

爱丽丝Macfarlan的照片
艾丽丝·麦克法兰

非常感谢更新的链接,大卫!如果你真的使用了它们,我们很想听听你是怎么做的。

最好的

爱丽丝

BetterEvaluation网站协调员

添加新注释

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。