快速评估

埃莉诺·威廉姆斯的照片2021年5月12日埃莉诺·威廉姆斯

埃莉诺·威廉姆斯是维多利亚州卫生部评估和研究证据中心主任。在这个职位上,她领导该部门的评估和研究战略。她还是维多利亚公共部门评估网络和澳大利亚评估协会维多利亚委员会的共同召集人。埃利诺拥有墨尔本大学公共政策与管理硕士学位和评估硕士学位。作为研究的一部分,埃莉诺对快速评估方法进行了广泛的文献回顾,这些方法为本文提供了信息,并对维多利亚州的新冠肺炎-19服务和卫生与人类服务实践变化进行了快速评估。

在Covid-19大流行期间,决策者,特别是卫生部门的决策者,要求迅速转变证据,为服务和做法变化提供信息。这种情况对既定的评价准则和标准提出了真正的挑战,这些准则和标准一般在较长的时间范围内运作。国际上的政府部门和研究单位,包括维多利亚卫生部评价和研究证据中心,响应了这一呼吁,以更快地提供评价和证据,“快速评价”不仅变得更加普遍,而且变得更加必要。

快速评估可以在几天到几个月内部署,在突发或前所未有的事件,如COVID-19大流行时尤其有用。但是,尽管最近这段时间对快速评价方法的兴趣有所增加,但实际上,快速评价方法背后有我们可以学习的悠久历史。本博客通过快速评估的常见组成部分,以及这些方法的来源,希望阐明它们在哪些方面可以增加价值。

当前环境和挑战

目前对快速方法的需求回应了人们的担忧,即无论是在紧急情况下,还是在标准政府决策中,标准研究和评估方法都太慢,无法转化为实践。

例如,在实验设计中,随机试验从开始到发表大约需要5.5年,加上提交拨款申请的时间后需要7年或更长时间。即使在紧急管理情景之外,这些时间框架也往往不足以为决策提供信息,例如,对于致力于3年或4年选举周期的政府,或者对于需要立即决定是否延长或扩大计划的决策者。更重要的是,在这么长的时间内,环境可能会发生变化,使评估结果变得无关紧要或过时。

尽管目前对这一问题的关注主要集中在大流行上,但这并不是一个新问题——评估人员长期以来一直在探索快速获取适当证据的方法,以便为决策提供依据。

快速评估从何而来,又将走向何方?

快速研究和评估方法有着悠久的历史,特别是在国际发展和应急管理方面。在1980年代首次采用快速方法之后,联合国在1990年代进一步推动了实时评价,以应对人道主义危机的增加和快速循证评价的需要。

一个健康相关方案快速评估方法国际会议,由联合国大学组织,于1990年11月举行,提高了人们对设计、评价和改进营养和初级保健方案的人类学方法的兴趣和期望。随后,快速方法在21世纪初扩展到公共卫生领域,与其他方法学进展一起,从“快速和肮脏”方法转向更稳健和标准化的快速方法。

最近,快速方法被用于响应政府的需求,即在项目和项目实施时,而不是在实施数年后,更快、更早地为决策提供证据。这既是由于在Covid-19危机期间要求快速决策的压力,也是更广泛的原因提高政府决策活动的速度和数量. 为了说明这一点,南非规划、监测和评价部(DPME)发布了准则和工具包明确响应高层管理要求和对信息的紧急需求的需要。

快速评估方法涉及什么?

从一开始,快速方法就被称为一系列广泛的术语和方法,包括:

  • 快速评估,
  • 快速人种学评估(REA),
  • 快速定性查询(RQI),
  • 快速评估程序(RAP),
  • 快速评估、反应和评估模型(RARE模型),
  • 快速,集中或短期的人种志,
  • 实时评估(RTE),
  • 快速反馈评估(RFE),
  • 快速评估方法(REM)和
  • 农场评估(远端控制设备)。

虽然上面列出的每一种快速方法都有不同的背景、方法和实践背景,但快速方法通常共享一套类似的技术,用于在关键时刻向决策者提供可操作的信息。

大多数快速评价模型都包含类似的要素,既反映它们对新出现的情况作出反应的需要,又反映它们希望得到有力和可靠的结论:

  • 迭代/灵活的设计;
  • 多种方法和数据源(但通常更多地依赖于定性数据)
  • 加快数据收集和分析流程以及并行的工作流程
  • 注重行动的调查结果和建议
  • 定制的通讯产品
  • 多学科和高技能团队,以及
  • 参与式方法

一些用于加速评估的特定策略包括并行地进行数据收集和分析,消除使用记录,以及利用更大的评估团队来共享工作负载。

尽管这些方法取得了重大进展,但在某些情况下,快速方法有时仍被认为比长期方法质量低。来自雷亚尔的Cecilia Vindrola Padros博士据推测,这部分是由于缺乏明确的快速方法质量标准,以及在术语上缺乏共识。对于快速评估的不同类型,何时以及如何使用,以及评估者如何减少为满足评估紧迫的时间框架所必需的方法权衡,也可能存在误解。

快速评估类型

快速评估模型通常根据其需要速度的原因分为三种类型:

  • 快速评估短期或频繁的决策
  • 快速评价由于资源限制
  • 快速评价由于短期的影响

评估背后的原因将决定资源分配方法以及可能的数据分析和参与程度。例如,在健康危机中,重要的是部署一支资源充足、经验丰富的团队进行快速评估,因为及时准确的调查结果对项目成功至关重要。然而,在其他情况下,由于资源限制,评估速度很快,一名评估员可以采用快速方法,限制其数据收集和咨询的范围,以尽可能经济高效地提供调查结果。

对近期或频繁的决策进行快速评估,以满足决策者在紧迫的时间框架内工作的需要。这可以采用短期评估的形式来通知长期的过程,或者采用在长期项目的多个时间点部署快速方法的模型,以在整个规划设计和实现中提供反馈循环。这种快速评估类型包括上面列出的所有公共特性,包括使用多学科团队和多种方法来实现健壮的设计。

相比之下,为时间和资源有限的情况而设计的快速评估必然涉及必须对快速评估设计做出的牺牲。在这些情况下,更有可能是单一的评估者而不是团队,单一的方法而不是混合的方法。速度将取决于数据收集、分析和报告的时间长短,而不是主题的上下文需求。这并不是说,这种类型的产品快速评估的价值不能和班贝克(2004)有用,实际的建议关于如何定制方法当时间,金钱和人力资源供不应求,像敏感减少数据收集的范围和规模,管理有效性相关的威胁,并在不容易获得的地方重建基线数据。

最后,还有一类较小的快速评估,预计在快速评估的时间范围内会发生实质性变化,例如在健康危机中,您希望在项目过程中看到传播率降低。与其他快速评估一样,这些环境需要多个团队成员和多种方法来满足决策所需的短时间框架和鲁棒性水平的要求。此外,他们通常需要一个具有强烈参与性因素的多学科团队,以产生多个观点,确保项目结果是可靠的,并有足够的利益相关者参与,从而导致项目调整或决策。

在开始快速评估之前,有必要反思快速评估背后的原因,以及这对您将使用的方法意味着什么。例如,如果涉及短期的或高风险的决策,就值得寻求适当的资源,以确保您能够在可用的时间框架内交付可靠的发现。或者,如果驱动程序缺少时间和资源,你需要仔细考虑如何适当地减少数据收集、分析和/或报告。

最终的想法

在目前的大流行病环境和政府决策速度日益加快的情况下,显然需要更迅速地进行评估。仍需要开展工作,以整合快速评估的长期历史,并就什么符合可接受的证据门槛达成一致,以便在快速工作时为现实生活中的决策和结果提供信息。保持开放的心态是很重要的,特别是在短时间内可以实现的新领域正在形成。在这个不确定的时期,一个强有力的、快速的评估是一个有力的工具,可以为决策提供更多的证据。

进一步的阅读

方法页:快速评估

快速评估是在时间或资源有限的情况下,快速、系统地进行评估的一种方法。快速评估方法已被用于多种环境,包括公共卫生、应急管理、国际发展和农业,作为一种快速提供方案评估结果以为决策提供信息的方式。请访问此方法页面获取更多关于快速评估的信息和资源

实时评价:帕特里夏·罗杰斯和爱丽丝·麦克法兰的博客博客:为什么我们需要更多的实时评估?

看看我们最近的博客,“为什么我们需要更多的实时评估?”由帕特里夏·罗杰斯(Patricia Rogers)和爱丽丝·麦克法兰(Alice Macfarlan)撰写的博客着眼于实时评估,一种快速评估的形式,以及它在实践中的工作方式。阅读更多。

外部资源

伦敦大学学院快速研究、评估和评估实验室(RREAL)还提供快速定性方法方面的培训,这将是寻求建立快速交付技能和工具包的人的一个很好的选择。

研究实验室,比如伦敦大学学院快速研究、评估和评估实验室(RREAL)美国正在满足对更早发现和更快流程的需求。

工具书类

Bamberger,M.(2004年)。小额评估:在预算、时间和数据约束下设计影响评估。美国评估杂志25(1), 5–37.

规划、监测和评价部(南非)(2020年)评价准则2.2.21:如何进行快速评价南非共和国。

McNall, M. & Foster-Fishman, P.G.,(2007)快速评价、评估和评价方法,美国评估杂志28(2): 151 - 168。

Messer,E.(1991年)规划和评价卫生相关方案的快速评估方法国际会议:解释性摘要。在里面食物及营养通讯. 1991 13(4):287-292.

Vindrola Padros,C.,Brage,E.和Johnson,G.A.,(2021年)快速、响应和相关?对医疗保健快速评估的系统回顾,美国评估杂志,第42卷(1)13-27

特别感谢本页的贡献者
作者
维多利亚州卫生部评估和研究证据中心主任。
澳大利亚墨尔本。

评论

匿名者的照片
阿桑。

您好,我需要一个在黑人环境下健康促进快速评估的例子

西蒙达维的照片
西蒙·戴维斯

亲爱的阿桑

我鼓励你们加入我们的讨论小组,并向我们的成员提出这一点,他们中的许多人在这一领域拥有专业知识。以下是供您加入的链接:游隼讨论组-家

问候

西蒙

匿名者的照片
埃莉诺·威廉姆斯

嗨,阿桑,

刚刚看到你的评论。我很乐意通过一些健康促进的例子进行讨论——请随时通过LinkedIn进行联系。

另一种选择是向澳大利亚公共部门评估网络(APSEN)提出问题,该网络是澳大利亚评估协会的一个特殊利益团体。https://www.aes.asn.au/special-interest-groups/apsen

添加新注释

登录登录并作为BetterEvaluation成员进行评论,或者简单地填写下面的字段。