| 英国科研评价模式：由专业评价人员进行评价 |
|
| |
| 作者：佚名 文章来源：不详 点击数： 更新时间：2007-4-8 3:08:47 |
|
ive,Proceedings of the International Workshop on Assessment
and Evaluation,HMSO,London,1988）。ROAME由计划中各个要素的首字母构成：基本理由(Rationale)、目标(Objectives)、鉴定(Appraisal)、监控(Monitoring)和评价(Evaluation)。它是提交研究计划申请和评价受资助计划的标准格式，既有利于申请人从上述5个方面考虑如何提出申请计划，亦有利于评价人员对照这5个方面的内容评价计划实施情况。
(1)理由部分必须阐明需要政府资助的原因，其中主要是经济方面的原因，即如果没有政府介入工业界将不会开展此项研究。
(2)目标包括投入目标和技术目标，它们最好可以测度，同时还要列出难以量化和测度的目标，诸如计划可望产生的社会效益与经济效益。这样做有利于在计划执行期间或计划完成以后参照目标衡量计划执行的成功程度。
(3)鉴定部分要详细说明单个项目组成计划的方式，列出计划涵盖的技术领域、遴选项目的标准和机制。
(4)监控指检查受资助计划的进展所采用的系统和程序。必须追踪单个项目和整个计划的管理情况，如果出现了问题，或者计划的目标不恰当，都可以迅速作出调整。
(5)评价部分不必列出详细评价计划，只需要针对相关政策信息的需求，拟订出开展评价工作的框架，并说明通过评价可以明确解决的问题。
从DIT评价工作的实践来看，ROAME至少发挥了以下几方面的作用：(1)为DTI的评估专家提供了一种评价思想；(2)通过监控和事后评价活动，把有关信息反馈给管理人员，可以提高他们识别、理解问题的水平，从而促进了“不断学习和提高”这样一种文化氛围的形成；(3)按ROAME格式书写的记录，是评估小组获取管理信息资源的一种重要渠道，这些信息既可以用于DTI制定科研资助政策，也可以用于设计评价方案；(4)对事后评价工作而言，可以对照当初实施计划的理由和计划拟定的目标来考察计划实施情况。
2.在基础研究评价与管理中的作用
农业与食品研究理事会(AFRC)、自然环境研究理事会(NERC)率先在内部成立了评价小组，由负有政策制定职责的官员监督小组的评价工作，还指令一名高级官员负责把评价与资助机构的其他活动整合起来。这种线性管理结构有助于确保评价获得理事会高层的认可。
为了实时监控和评价资助项目，内部评价小组制定了绩效指标，建立了相关数据库。例如，AFRC于1972年率先建立了项目管理数据库。目前，该数据库除了收录经费与人员投入、研究计划的构成等数据项之外，还包括定性和定量研究绩效指标，其中定性指标来源于项目立项时对项目和人员的评价，定量指标是出版物和引用情况。评价小组要定期向AFRC的有关管理部门通告这些数据，使它们能充分利用这些信息支持同行专家对AFRC的资助工作及所属研究机构进行评价。同样，NERC的内部评估小组要提供财务和管理信息，开展一系列文献计量研究，参照当初设定的目标分析科学家和研究机构的产出。分析研究结果也用于支持同行专家的评价工作。
科学与工程研究理事会(SERC)的做法与上述两个研究理事会不同：没有自己的研究投入和绩效指标数据库；重视研究计划的评价，而不是项目评价；倾向于雇佣外部专家深入分析定性问题，而不是单纯依靠内部小组支持的同行评议[7]（注：SERC肩负与其他部门共同资助英国的战略研究、联合资助产学合作计划、资助英国参与国际科学合作。很明显，评价这些资助工作非常复杂，不能单纯依靠同行评议方法。）。但是，目前SERC正同教育与科学部以及其它研究理事会合作建立一套测度产出的方法和指标，使之适用于整个科学（不包括国防科学）的评价。此外，SERC还肩负培养科学家的重任，因而需要记录博士学位论文和博士后论文这类数据，用于评价人才培养活动的实施情况。
由于内部评估小组不仅积极主动地在理事会内部，而且还向广大共同体交流自己的工作，因此，它们提供的定量指标获得了广泛的认同。通过把特定评价业务、评价支持研究和对理事会工作人员进行定量评价方法的培训工作委托给从事科研评价理论研究的学术组织，评估小组与评价理论研究专家形成了密切的相互作用。这样，政策制定部门可以迅速了解、掌握评价方面的专门知识，在实际应用时按照每个组织的需求状况进一步发展和完善这些知识。各个研究理事会还精选了部分获资助的研究人员、同行评议专家和视察小组(visiting group)成员参与开发定量指标，例如向他们咨询衡量成功的标准和指标，确保任何新颖的方法都可以成为强有力的评价证据。尽管如此，内部评估小组提供的研究投入和绩效指标信息是在研究理事会内部发掘的，它们只可能适应于某类研究，因此，需要把它们整合到利用同行评议方式进行的评价活动中。
总之，在英国基础研究资助机构中，内部专家对评价工作和政策制定工作起支持作用，它们是英国专业科研评价队伍中不可缺少的组成部分。尽管同行评议仍是评估基础研究最令人满意的方式，不可能被内部专家评价方式替代，但可以肯定的是，评价小组能提供极有价值的政策信息，能为同行评议过程提供许多证据。
三、利用外部专业评价人员的方式
1.实时评价大型R & D计划
英国科技管理部门认为，外部评价人员的评价比内部评价人员的评价更深入，更具有上一页 [1] [2] [3] [4] 下一页
|
|
|
| 加入网摘：365Key
| 新浪ViVi
| 和讯网摘
| 天极网摘
| POCO网摘 |百度网摘| 文章录入：小蝶 责任编辑：小蝶 |
|
上一篇文章： 被颠覆的倒错
下一篇文章： 文化与日本外交 |
| 【字体：小 大】【发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口】 |
网友评论：（只显示最新10条。评论内容只代表网友观点，与本站立场无关！）