现实主义的评价

也可在: 西班牙语

现实主义评价是一种以理论为导向的评价形式,但其独特之处在于其明确的哲学基础。

Pawson和Tilley(1997)发展了第一个现实主义评价方法,尽管此后又发展了其他解释。Pawson和Tilley认为,为了对决策者有用,评估需要确定“什么在哪些情况下有效,对谁有效?”,而不仅仅是“它有用吗?”

完全现实主义的问题是:“什么对谁起作用,在什么方面起作用,在什么程度上起作用,在什么环境下起作用,以及如何起作用?”为了回答这个问题,现实主义者的评估者旨在找出潜在的生成机制,解释结果是如何产生的,以及环境的影响。

对项目运作方式的现实理解

现实主义哲学(Pawson和Tilley使用“科学现实主义”一词)认为干预有效(或无效)是因为行动者做出特定的决定来回应干预(或无效)。行动者对干预提供的资源或机会的“推理”是导致结果的原因。

严格地说,术语“生成机制”指的是潜在的社会或心理驱动因素,导致了行动者的推理。例如,对父亲和母亲来说,育儿技能项目可能取得了不同的结果。母亲和父亲产生不同“推理”的机制可能与关于母亲和父亲的角色和责任的主导社会规范有关。其他机制可能位于心理、社会或其他领域。

语境很重要:首先,它影响“推理”,其次,只有在环境合适的情况下,生成机制才能发挥作用。回到我们的例子,在不同的文化中,对于母亲和父亲的角色和责任可能存在不同的社会信仰,这可能会影响父母对养育方案的反应。父母是否能将他们的新学习付诸实践将取决于一系列因素——也许是他们有时间、他们自己对养育子女的信念,或者他们的心理健康。最后,上下文可能提供对观察结果的替代解释,这些需要在分析过程中加以考虑。

进行现实评价

发展初始规划理论

现实主义评价从理论开始,到理论结束。换句话说,现实主义评价的目的不仅是测试和完善方案理论,而且是确定方案是否以及如何在特定环境下工作。

方案理论描述了预期干预将如何产生其效果以及在何种条件下应产生效果。最初的方案理论可能是基于先前的研究、知识、经验,以及干预设计师对干预将如何工作的假设。现实主义方案理论与其他基于方案理论的评估方法的不同之处在于,现实主义方案理论规定了什么机制将产生结果,以及环境的什么特征将影响这些机制是否运行。理想的情况是,这些要素(机制、结果、背景)在评价设计阶段就能明确说明,因为这样可以设计数据收集,集中测试方案理论的不同要素。

选择评价方法

现实主义评价是方法中立的(也就是说,它不强制使用特定的方法)。

同任何评价一样,数据收集和分析方法和工具的选择应以回答评价问题所需的数据类型为指导,或更具体地说,以检验初步方案理论的所有方面。

通常,定量和定性数据都是在现实主义评估中收集的,通常定量数据集中于背景和结果,而定性数据集中于生成机制。由于现实主义分析主要使用方案内比较(即同一方案中不同组之间的比较)来检验最初的理论,因此现实主义评价设计不需要建立比较组。相反,改进后的程序理论将在随后的另一项研究中在不同的背景下进行检验。通常使用案例研究设计,案例选择通常是有目的的,因为案例应该能够在所有维度上“测试”初始规划理论。

使用现实的数据分析方法

现实主义数据分析受现实主义原则的驱动:现实主义评估通过提及在特定条件下以及在外部事件(包括干预本身)的影响下采取行动并改变(或不改变)情况的行为体,解释干预带来的变化。参与者和干预措施被视为嵌入社会现实,影响干预措施的实施方式以及参与者对干预措施的反应(或不)。情境机制结果(CMO)配置被用作现实主义分析的主要结构。

在分析的第一阶段,数据的组织与初始计划理论有关,即数据是否与所做的事情(干预活动)或背景、机制、结果和(参与者群体)有关。对定性数据进行编码,并采用适当的方法分析定量数据。成果数据按分组(根据方案理论选择)分类。

一旦确定了结果的模式,就可以分析产生这些结果的机制,只要有正确类型的数据。然后就可以确定特定机制“发射”或“未发射”的上下文。背景可能与产生成果的子群体和/或与其他利益攸关方、实施过程、组织、社会经济、文化和政治条件有关。

分析过程不一定是连续的,但应该产生一组“情境-机制-结果”(CMO)声明:“在这个情境中,特定机制激发了这些参与者,产生了这些结果。在这种情况下,另一种机制被激活,产生这些不同的结果。”

分析的最后阶段包括确定哪种CMO配置对观察到的结果模式提供了最可靠和可信的解释。然后将得到的CMO配置与根据评估结果修改(或未修改)的初始规划理论进行比较。

利用现实主义评价的结果

生成机制和项目理论都可以在不同的抽象层次上考虑,从非常具体的(特定项目中的特定个人)到非常抽象的(跨不同种类的项目)。Pawson和Tilley认为“中间区间理论”(MRT)是最有用的。mrt足够具体,可以产生特定的命题进行测试,也足够普遍,可以适用于不同的情况。通常情况下,mrt是在一系列研究的基础上逐渐发展起来的,这些研究允许逐步规范现实主义的发现。现实主义评估中的各种理论——程序理论、关于特定机制的理论、CMOs和形式理论——如果是在抽象的中间层次上开发的,就最有用。

因为现实主义评价使用生成因果关系的观点(即,机制只有在环境有益时才会触发),现实主义者在他们的主张中是谦虚的,声称评价不能产生普遍适用的结果。最好的情况是,评估可以通过制定合理的解释,使项目背后的复杂过程有意义事后. 它可以指示干预工作(或不工作)的条件以及它们如何工作。这一现实的规范使决策者能够评估在一种环境中证明成功的干预措施在另一种环境中是否成功,并协助方案规划者调整干预措施以适应具体环境。

*中间区间理论被理解为“介于微小但必要的工作假设……和全面的系统努力之间的理论,以发展一个统一的理论,解释所有观察到的社会行为、社会组织和社会变化的一致性”[Merton, r.k.(1968)。社会理论和社会结构。纽约:自由出版社,第39页]。从本质上说,“中等范围”指的是抽象程度,可以指程序理论、生成机制、CMOs、形式理论等。

例子

加纳的医院管理实践

我们提供了一个加纳卫生保健系统现有实践的现实主义研究的例子;它本身不是对干预的评估。因此,我们使用中期理论(MRT)而不是规划理论。

关于人力资源管理(HRM)的结果有相当多的争论,甚至更多的是关于证明这些结果的方法。一般而言,近端结果可分为三类:(1)改善工作人员的可用性;(2)改善员工态度和影响(承诺、工作满意度);(3)改善员工行为(较高的任务绩效和组织公民行为,较低的旷工率)。

在加纳地区和地区医院的一系列案例研究中,我们评估了医院管理实践对组织绩效的作用。捷运系统是通过以下方式开发的:对中心地区医院进行探索性访问,期间对工作人员进行访谈;人力资源管理和医院绩效的文献综述,导致了“高承诺管理”的概念;回顾以往关于组织文化的研究。

我们初步制定的捷运系统如下:

“绩效良好的医院的医院经理部署的组织结构允许分权和自我管理团队,并刺激决策授权,良好的信息流动和透明度。他们的人力资源管理整合了就业保障、足够的薪酬和培训。这就产生了强有力的组织承诺和信任。条件包括有明确愿景、有能力的领导者、相对较大的决策空间和充足的资源。”

我们最初选择“组织承诺”和“信任”作为人力资源管理的近端结果,因为我们最初的文献综述表明,这些产出通常可以解释高承诺管理的效果。随后的文献综述指出,感知组织支持(POS)的概念是组织承诺的重要决定因素,并指出高承诺管理会诱发POS。POS指的是运营人员对他们得到组织有效支持和认可的感知。这以管理实践和组织承诺之间的因果路径的形式提供了一个潜在的解释。

本研究以一家经营良好的医院为个案,在初步的中间区间理论的基础上,评估其管理风格及其效果。通过对管理团队成员和运营人员的访谈,结合定量数据分析,我们根据其关键机制确定了两套不同的做法:

第一个CMO可以总结为:如果医院管理团队的管理实践是基于经济交换和社会交换的,那么他们就可以获得更高的组织承诺。当员工感知到高水平的管理支持或感知到的组织支持(干预)时,他们会在互惠(机制)的基础上发展额外的角色行为,如加班、组织公民行为等(结果)——即使在招聘自由空间有限的医院,工资等级,晋升和解雇(上下文)。

第二种CMO结构可以概括为“通过组织文化保持卓越标准”。以员工的“人力资本”为基础,在相对良好的资源可用性和训练有素的专业人员的组织背景下(背景),管理人员开发了一套综合的“硬”和“软”管理方法,以响应员工的需要,使他们能够保持他们的专业标准(干预)。这有助于形成一种强大的积极的组织文化(即时结果),有助于并保持高水平的绩效标准(中间结果)和组织绩效(远端结果)。

在接下来的案例研究中,我们在其他医院测试了改进后的规划理论。这些案例研究证实了感知到的组织支持(POS)的重要性,但也表明感知到的主管支持(PSS)是一个重要的决定因素,可以作为POS的替代,并同样触发互惠行为。在维修和管理人员等非专业干部的情况下,发现PSS在运行。欲知更多详情,请参阅Marchal等人(2010a)Marchal等. (2010b)。

建议

选择这种方法的建议(提示和陷阱)

现实主义评估设计非常适合评估复杂情况下的干预措施如何发挥作用,因为它允许评估者解构此类干预措施背后的因果网络。

现实主义评价所产生的信息表明干预是如何工作的(即生成机制)和特定机制工作所需的条件(即具体情况),因此,它对决策者可能比其他类型的评价更有用。

与任何评价一样,现实主义评价的范围需要在现有时间和资源的范围内确定。使用现实主义方法进行评价不一定比其他基于理论的评价需要更多的资源或时间,但它可能比简单的前后评价设计更昂贵。

使用此方法的建议(提示和陷阱)

更大规模或更复杂的现实评估理想地由跨学科团队进行,因为这通常允许对可能的机制进行更广泛的考虑。但是,有可能对单一的从业人员和小规模的评价进行现实的评价。

如果计划理论/MRT与主要参与者一起明确,它可以导致对干预的更好、共享的理解。这反过来可以改善所有权,并导致更适合具体情况的干预措施。

发展因果理论也可能有助于更好地定义什么需要评估,从而,什么是关键的评估问题。

留出足够的时间评估干预、参与者和环境之间的互动。

资源

现实主义影响评估:导论

由BetterEvaluation、DFAT和ODI共同制作,作为方法实验室项目的一部分,这份出版物说明在什么情况下以现实的影响评价最适合或最可行评价某一特定计划或政策,并概述了如何设计和实施基于现实方法的影响评估。

指南

推荐阅读哲学背景和这种方法的一般发展:

帕森,R. &蒂利,N.(1997)。现实的评估.伦敦:圣人。

帕森,R. &蒂利,N.(2001)。现实的评价血统。美国评估杂志22日:317 - 324。http://aje.sagepub.com/content/22/3/317.full.pdf+html

Pawson,R.(2013年)。评价科学:现实主义宣言SAGE出版公司。

其他推荐阅读

对现实主义评价的介绍,包括Pawson和Tilley(1997)的可下载章节(经作者许可复制)www.communitymatters.com.au gpage1.html

Pawson, R. & Manzano-Santaella, A.(2012)。一个现实主义诊断研讨会。评价18:176 - 191。http://dx.doi.org/10.1177/1356389012440912

Marchal, B., Van Belle, S., Van Olmen, J., Hoerée, T. & Kegels, G. 2012。现实主义评价是否信守承诺?卫生系统研究方法学实践的文献综述。评价,18岁,192 - 212

Astbury, B. & Leeuw, F.(2010)。拆箱:评估中的机制和理论构建。美国评估杂志31(3): 363 - 381。http://www.itg.be/internet/ds/tde/doc/Astbury%20%26%20Leeuw%20.pdf

关于批判现实主义的几篇论文

康奈利,j .(2007)。评估复杂的公共卫生干预:理论、方法和现实主义探索的范围。临床实践评价杂志13(6): 935 - 941。http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2753.2006.00790.x/pdf

迪金森,h(2006)。对保健和社会护理伙伴关系的评价:对今后的方法和综合的分析。健康社会关怀社区14:375 - 383。http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2524.2006.00650.x/pdf

网站

安特卫普(比利时)热带医学研究所主办了“理论驱动的调查”网站,该网站包括现实主义评价、现实主义综合和理论驱动的评价的方法学概述,以及相关出版物的链接。http://www.itg.be/tdi

RAMESES(现实主义和元叙事证据综合:发展的标准)项目,包括方法论指导、出版标准和培训资源。http://www.ramesesproject.org

保健领域的现实主义研究实例:

Byng等人(2005年)和Byng等人(2008年)应用现实主义评估原则来评估NHS的心理健康计划。Byng, R., Norman, I.和Redfern, S.(2005)。采用现实评估方法,评估实务层面的干预措施,以改善长期精神疾病患者的初级保健。评价1169-93和Byng, R., Norman, I., Redfern, S.和Jones, R.(2008)。揭示复杂干预在精神卫生共享护理中的关键功能:过程评估的案例研究。BMC Health server Res 8: 274

Evans和Killoran介绍了对卫生教育局综合采购方案的评价,特别是对测试伙伴关系以解决卫生不平等问题的示范项目的评价。(2000)。通过合作解决卫生不平等问题:从现实的评估中学习。关键公共卫生10:125-140

Leone(2008)概述了如何从项目分析中得出干预的中间区间理论(MRT),如何将MRT转化为研究问题,以及如何进行分析。里昂,l(2008)。对非法药物威慑方案的现实评价。评估14:19-28。l

曼扎诺·桑塔埃拉(Manzano Santaella)将现实主义评估应用于英国国民健康保险制度(NHS)的一项政策,该政策对出院者处以罚款。Manzano Santaella,A.(2011年)。医院出院罚款的现实评估:将计划评估历史纳入分析。评价17:21-36

Marchal等人(2010)提出一个加纳人力资源管理的现实案例研究,并讨论现实主义评价的主要方法挑战

Marchal等人(2010)分析一个医院管理团队如何使用现实主义评估方法成功地使加纳一家病弱的地区医院复苏

图片来源:Mobius变换一个规则的圆形包装,由fdecomite在Flickr上

特别感谢本页的贡献者
作者
安特卫普热带医学研究所公共卫生学系博士后研究员(比利时),开普敦西开普敦大学公共卫生学院访问研究员(南非)。
比利时。
作者
比利时安特卫普热带医学研究所公共卫生系博士后研究员和顾问。
比利时。
作者
社区事务博士有限公司
澳大利亚的阿德莱德。
评论家
主任,评估能力加强,更好的评估。
澳大利亚墨尔本。

评论

吉尔Westhorp的照片
吉尔Westhorp

你好罗伊

我不确定这篇论文是什么时候第一次在网页上发表的——“更好的评估”的管理员可能会回答这个问题。

说到把现实主义评论作为一种方法,当然可以这么说,但它并不局限于定性数据。我建议审查现实主义审查的国际标准,可在www.ramesesproject.org

你可以在那里找到出版标准、质量标准和培训材料。

干杯

吉尔

吉尔Westhorp的照片
吉尔Westhorp

嗨Monisha

我愿意支持爱丽丝说的每句话!此外:

我住在澳大利亚,很高兴回答有关方法和方法的快速问题。我更喜欢在Rameses讨论列表中这样做,因为这样很多人都可以从讨论中受益。更重要的是,很多其他人也可以发表评论,这意味着你会得到更丰富的建议。您可以通过以下方式加入讨论列表:www.ramesesproject.org

最近在拉美西斯的网站上有关于现实主义评估的培训资源,格式是"1000字关于…"(各种各样的话题),可能很有价值,这取决于你在工作中的进展。

希望在会议上见到你!

吉尔

吉尔Westhorp的照片
吉尔Westhorp

嗨,要不是

我叫吉尔·威斯索普。我在澳大利亚,我提供远程支持和培训(通常是面对面的,但远程方法是可能的)。我是《拉美西斯现实主义评价标准》的合著者。你可以和我联系gill@communitymatters.com.au如果你想进一步讨论的话。

我衷心赞成爱丽丝的建议,加入拉美西斯的讨论名单。有数百名成员,他们非常擅长提供建议和支持。

最好的祝愿

吉尔

匿名的照片
西克斯

谁能告诉我现实主义评价和利用集中评价的异同点?我发现很难找到有明确细节的资源。

添加新评论

登录登录并作为BetterEvaluation成员进行评论,或者简单地填写下面的字段。