指定关键的评估问题

关键评估问题(KEQs)是评估要回答的高层次问题,而不是在面试或问卷中问的特定问题。拥有一组商定的关键评估问题(KEQs)可以更容易地决定收集什么数据、如何分析它以及如何报告它。

KEQs通常需要在评估计划开始时制定并达成一致,但有时KEQs已经由一个评估体系或先前制定的评估框架规定。

尽量不要有太多关键评估问题 - 最多5-7个主要问题就足够了。在KEQS下有一些更具体的问题可能也很有用。

关键评价问题的制定应考虑所进行的评价的类型、其预期用户、其预期用途(目的)和所使用的评价标准。特别是,想象一下使用KEQs的答案的场景是很有帮助的——检查KEQs可能是相关的和有用的,并且它们涵盖了评估要解决的问题的范围。(这个过程也可以帮助审查数据类型,可能是可行的和可信的,用于回答KEQs)。

以下信息取自新南威尔士政府,总理和内阁评估工具包BetterEvaluation帮助开发的。

以下是针对三种主要评估类型的一些典型的关键评估问题:

主要评估类型的关键评估问题

类型 典型关键评价题

过程评价

该计划是如何实施的?
与质量标准相比,过程有多合适?
程序是否正确执行?
是否按照预期联系到参与者?
项目客户的满意度如何?的客户吗?
以创新的方式做了什么?

结果评价(或影响评价)

H这个项目的效果如何?
项目是否在短期、中期和长期内产生或促成了预期的结果?
为谁,以何种方式,在何种情况下?产生了哪些意想不到的结果(积极的和消极的)?
这些变化在多大程度上可以归因于该计划?
这个项目和环境有什么特别之处?
其他因素的影响是什么?

经济评估(成本效益分析及成本效益分析)

成本与收益的比率是多少?
最具成本效益的选择是什么?
干预是否具有成本效益(与替代方案相比)?
这个项目是资源的最佳利用吗?

适当、有效和效率

通常采用三大类关键评估问题来评估项目是否合适、有效和高效。

在这些类别下组织关键的评估问题,可以评估特定项目在特定情况下的适当、有效和高效程度。根据不同的评估类型(过程、结果或经济),这些类别下的合适问题会有所不同。

典型关键评价题
适当性 该计划在多大程度上满足已确定的需求?How well does the program align with government and agency priorities?

这个项目代表了政府的合法角色吗?

有效性 在短期、中期和长期内,该计划在多大程度上实现了预期的结果?
在多大程度上,该计划产生了有价值的结果(输出,结果)和/或满足其每个目标?
效率 项目的结果是否物有所值?
在多大程度上,投入和产出之间的关系是及时的,成本效益和预期的标准?

例子

《更强大家庭和社区评估战略》使用了明确的关键评估问题,以确保评估的一致性,尽管评估的规模和多样性——为期3年的评估,涵盖了通过5个不同资助计划资助的600多个不同项目,并编制7份专题文件和11份个案研究报告(包括特定资助计划的研究),以及进行中的进展报告和一份最终报告。

关键评估问题是通过广泛的协商过程来制定评估框架,这是在宣传合同进行实际评估之前完成的。

1.在短期,中期和长期内,如何为家庭和社区实力做出贡献的战略?

2.策略在多大程度上产生了意外的结果(积极和负面)?

3.与类似的国家和国际干预措施相比,该战略的成本和收益是什么?(考虑到数据的局限性,这个问题被修改为“宽泛的、定性的术语”

4.这一战略有哪些特别之处产生了影响?

5.是什么帮助或阻碍了创始者实现他们的目标?如何解释为什么一些举措会奏效?特别是,不同计划之间的互动是否有助于实现更好的结果?

6.该战略如何与该地区的其他倡议、计划或服务相结合,促进成果的实现?

7.还有什么在帮助或阻碍战略实现其目标和成果?什么最适合谁,为什么,什么时候?

8.该战略如何取得更好的结果?

圆(2008)2000-2004年加强家庭和社区战略:最后报告.墨尔本:皇家墨尔本理工大学。

KEQs被用于组织进度报告和最终报告,提供了一个清晰的框架,将不同的证据汇集在一起,并对调查结果形成一个新的叙述。

经理人指南

从经理或专员的角度来看待这个问题?步骤2:评估范围在我们的经理的指导是否有一些特定的信息用于决定评估需要做什么,包括如何做制定商定的关键评估问题
内联图像1

资源

指南

工具

KEQ清单

  • 疾控中心:帮助你集中评估的清单:这份清单由美国疾病控制与预防中心(CDC)创建,帮助您评估潜在的评估问题,包括它们的相关性、可行性、与项目的价值、性质和变化理论的契合度,以及利益相关者的参与程度。
  • 项目评估清单:这份清单由Lori Wingate和Daniela Schroeter提炼并解释了有效评估问题的标准。它可以用来帮助开发有效和适当的评价问题和评估现有问题的质量。根据相关文献和作者自己在评估设计、实施和使用方面的经验,确定良好评估问题的特征。

例子

引用这个页面

BetterEvaluation。(2016)指定关键评估问题(KEQs)。检索://www.szbpn.com/en/plan/engage_frame/decide_evaluation_quest..。

评论

匿名的照片
Stephen Berson

这个页面出色地提供了大量可用于不同类型评估的实际问题。但是,它并没有区分研究问题和评价问题。这种区分对于确保我们所说的评估不仅仅是一项应用研究至关重要。要想算作一种评估,它必须调查与价值和重要性相关的问题(Scriven, 2015),或者更简单地说,“一个项目的好”(Gullickson, 2018),而不是简单地描述一个项目正在发生什么(或其他形式的评估)。这一问题在Nunns, Peace和Witten 2015年在新西兰奥特亚罗亚发表的文章《公共部门评估中的评估推理》中进行了深入探讨。

正如Gullickson(2018)所描述的那样,“通常所谓的评估问题只是一个研究问题,只需要简单的描述性或因果性答案……在评估层次中,研究问题为回答评估问题提供服务和信息。”研究问题仅是描述性的,应嵌入评价问题中,具体如下:

EQ1 - > RQ1

- > RQ2

EQ2 - > EQ2a - > RQ3

- > EQ2b - > RQ4

- > RQ5

正如Gullickson进一步描述的那样,“评估问题触及了让评估变得好的、有价值或有价值的核心。”它们直接涉及价值、价值和/或重要性的问题。

研究和评价问题的共同特点:

  • 把提问者的注意力集中在与问题对象相关的特定领域
  • 便于数据收集的设计
  • 是可疑的(即可测量,评估或可观察的)
  • 是有价值的(即某人关心答案)
  • 有一个以上的答案(也就是说,你没有预先决定你所问的问题的答案)。

使一个问题成为一个评估问题的特征:

  • 标识与对象值相关的不同性能维度
  • 解决质量、成本、重要性、满意度、成功、有效性、效率、可持续性、可输出性、改进领域、结果和影响(包括非预期的)等问题。

当你在为评估做准备(也为你的客户做准备)的时候,根据最后两个特点来检查你的问题,这是一个很好的试金石,可以测试他们是否需要评估——这伴随着判断——或者只是调查,告诉他们他们的项目进展如何。两者都可以满足他们的需求,但其中之一不是评估(根据我们的定义)——你需要确定你和客户是否在他们的需求上是一致的”(Gullickson, 2018)“(Gullickson, 2018)。

以下提供了一些研究问题如何转化为评估问题的例子(Gullickson, 2018)

研究问题

  1. “这需要评估和解决什么问题?”
  2. 该计划如何实施?
  3. 结果是什么?他们是否在统计上有显著的变化?
  4. 评估的组成部分是什么?它们与预期结果有什么关系?”(Gullickson, 2018)

研究问题转变为评价问题

  1. “评估和解决的需求有多大或有多重要?”
  2. 程序的执行情况如何(模型的保真度,交付的质量,与类似的实现者相比的成本)?
  3. 哪一项评估结果最重要?根据谁的价值观?应该根据什么证据来确定?
  4. 评估的哪些部分对最重要的结果贡献最大?”(Gullickson, 2018)

参考

Gullickson, a(2018)。评价实践[课程材料]。墨尔本,维多利亚:墨尔本大学,EDUC90847。

Nunns, Peace, and Witten(2015)。新西兰奥特罗亚公共部门评估中的评估推理:我们做得如何?评价很重要——他选择Tō Te Aromatawai。新西兰教育研究委员会1:2015http://www.nzcer.org.nz/system/files/journals/evaluationmaters/downloads..。

Scriven, M.(2015)关键评估清单。从检索https://wmich.edu/evaluation/checklists

匿名的照片
以斯帖durlong

很有帮助!

匿名的照片
丹尼尔SHIFERAW

非常有用的…谢谢

添加新评论

登录登录并作为BetterEvaluation成员进行评论,或者简单地填写下面的字段。