阅读管理咨询或公共项目的评价介绍,常会遇到几个挨在一起的词:评价设计、评价类型、评价路径、评价方法。它们都与同一次评价有关,却没有回答同一个问题。英国财政部Magenta Book的Key terminology表,专门把这些术语并排解释,并提醒其他非政府指南可能采用略有不同的用词。
先看Evaluation types。术语表说,评价类型由评价问题定义。也就是说,类型名称首先关联想弄明白什么,而不只是报告用了哪张表、收集了多少份材料。原表举出过程、影响等常见类型;本文只采用这层命名关系,不对具体项目作类型认定,也不展开价值或费用判断。
Evaluation approach关注的是怎样接近、回答这些评价问题。指南以影响评价为例,说它可以采用基于理论的路径,也可以采用实验路径,或将两者结合。类型与路径因此可以同时出现在一句话里:前者说明问题方向,后者说明回答问题的总体思路。看到一个路径名称,尚不能反推报告已经完整说明了全部评价设计。
Evaluation methods又是下一层:为了检验理论、回答问题,怎样收集和分析信息。术语表列有建模、随机对照试验等方法名称。它们在这里承担示例作用,不能仅凭出现在词表中,就认定某项目适合使用其中一种,更不能据本文获得实施方案。指南另设Data collection一项,说明评价所用信息可以是定量的,也可以是定性的。
最宽的名称是Evaluation design。原表把它解释为整个评价的总体设计,其中包括怎样回应范围界定阶段提出的学习目标。因此,一份材料若只写了数据收集形式,仍没有等量地说明整体设计;反过来,有总体学习目标,也还需要其他层次共同解释怎样取得和使用信息。这里的差别来自各术语所覆盖的范围,而不是几个英文词的繁简。
用一个自拟的文件阅读情境看得更清楚:简介写了“了解某项服务的影响”,另列了一种分析方法。读者已经获得问题方向和一个方法名称,但回答问题的总体路径、整体学习目标如何衔接,可能还没有在这段简介里出现。这不是说项目一定存在缺陷,而是短介绍目前只提供了这些信息,不能替作者补出没有写明的安排。
对资料整理而言,保留这些名称的对应关系,比把它们统称为“评价手段”更有用。类型围绕问题,路径说明如何接近问题,方法关注信息收集与分析,整体设计则把学习目标和各部分联系起来。这种读法帮助理解术语的范围,并不代替专业评价设计。本文限于所读HTML指南的术语表及邻接说明,首发日期未确认,不将英国政府指南转换为中国项目的强制规则,也未开展真实评价或试验。
信息来源
本文基于上述公开资料整理,未使用来源页面的图片、视频或嵌入媒体。