国内外典型教学研究项目评估方法比较分析
摘 要：本文针对教学研究项目的特点，进行了国内外项目评估方法的现状分析，比较分析了国内外进行科技评估以来的主要的经典评估方法及其优缺点，为今后的教学研究项目评估工作中选择适用的评估方法提供参考。
关键词：教学研究项目；评估方法；对比分析；优缺点
中图分类号：G724 文献标识码：A
一、引言
随着全国科技创新大会的胜利召开，科技创新呈现在更加突出的位置。各大继续教育机构也越来越重视通过开展教学研究创新来提升自身的综合竞争力。采用教学研究项目评估，可提高资源的使用效率，为教学创新决策系统调整，学科布局提供科学依据和建议，使之更加适合机构事业发展的需要。
教学研究项目评估要遵循一定的原则、程序和标准，运用科学、规范的方法，对项目的执行过程以及目标实现程度、经费的使用管理、项目成果价值、项目社会影响与效益等方面进行综合评价考核。如何选择适用的项目评估模型和数据处理方法成为教学研究项目研究的重点。目前国内外科技评估的评估方法研究较为完善，本文总结了国内外在科技评估中形成的一些经典的评估方法，希望对教学研究项目评估方法的研究提供参考。
二、国内外典型科技评估方法的比较研究
国内外在科技评估方面采用的方法很多， 但就评估而言并没有通用的方法库。每种方法都有一定的使用范围，而解决一个具体问题又常需结合多种方法。评估者在评估的实践中， 应根据不同目的、对象确定不同方法或方法组合。这些方法通常可以划分为定性评估方法和定量评估方法。
定性评估方法主要依靠评估者的洞察、分析能力，借助于以往的经验和逻辑推断能力来进行评估。定量评估主要以评估指标的统计数据为依据，建立评估数学模型，用数学运算求得评估结果，并以数量表示出来的一类评估方法。定性评估方法本身也包含需要量化的部分，而单纯的定量评估方法得出的评估结果往往没有意义。本文将目前比较常用的定性和定量的评估方法分为三类：专家评估方法（定性/定量）、文献计量分析方法（定量）、数学分析方法（定量）。表1中对可参考的科技评估常用方法及其优缺点进行了总结。
（一）专家评估方法
专家评估方法是专家根据其多获得的信息对评估要素（尤其是难以用客观数据表示的因素）直接打分或做出定性判断，包括同行评议方法、特尔斐（Delphi）法等。
1.同行评议法
英国是使用同行评议方法最早的国家，后来被逐渐引入政府投资的机构进行项目选择。 同行评议法可以定义为“由从事该领域或接近该领域的专家来评定一项研究工作的学术水平或重要性的一种方法”。这种方法常常被科学界用来判断工作程序的正确性，确认结果的可靠性以及对有限资源分配的公认性和特殊荣誉。
优点：一是应用最频繁，经发达国家的实践证明，效果较好、可信度较高。二是适用不同阶段的评估。三是充分依靠科学家群体进行民主管理，在科学研究资源的分配中引入竞争机制，使得知识生产的要素优化配置。同行评议为科学共同建立了内部审查体系和荣誉机制，成为科学发展的一大动力源泉。
缺点：一是其假设条件是评议专家具有崇高科学的敬业精神和客观、公正、务实的职业修养。这种假设条件却容易缺乏有效的监督和控制。美国科学技术委员会的一项研究认为，同行评议像其他依赖于人的判断方法一样，受自己利益，特别是朋友关系和偏见的影响，容易形成“熟人关系网”，“老朋友网络”。二是专家的选择也存在难以避免的局限性。
2.特尔斐法
特尔斐法最早于20世纪50年代末由美国著名的咨询机构兰德公司提出并使用的。特尔斐法本质上是一种专家匿名反馈征询法，它是对所评估的问题以问卷的方式征得专家的意见之后，进行整理、归纳以及统计，再匿名反馈给各专家，再次征询意见，再进行整理、归纳以及统计，经过多轮反馈后，直到得到比较一致的意见。特尔斐法是一种群体决策技术，能够有效的征求和提炼群体的意見，由于其可信度高，已迅速传播到世界各国。
特尔斐法的基本程序大致分为4步：一是提出问题。二是选择专家。三是开始多轮征询程序，每轮都基本按照制定发放本轮调查问卷，手机问卷，统计归纳，形成下一轮调查问卷的程序循环进行。四是准备最后的结果分析报告。
优点：一是匿名：采取“背靠背”的方式，征询过程不暴露专家的名字，每位专家也不知道共有多少位专家，哪些专家参与咨询。在提意见时，没有心理压力，可畅所欲言。二是定量：能够对大量非技术性的无法定量分析的因素做出概率估算。三是反馈：特尔斐法在每轮征询中作出概率估算后会将概率估算结果反馈给专家，充分发挥了信息反馈的作用。四是趋向：特尔斐法经过多轮的征询反馈，也充分发挥了信息控制的作用，将分散的评估意见逐次收敛，趋向一致。
缺点：一是费时：由于需要采取多轮征询程序才会使得评估意见趋向一致，当轮次较多时，得到最后的结果分析报告相当费时。二是局限：当评估意见分散程度较大时，虽经过多轮反馈，仍可能出现意见不收敛的情况。
（二）文献计量方法
文献计量法用于分析科学研究活动始于19世纪末和20世纪初。文献计量法是指利用出版物、专利、引文等科技评估指标进行评价的一种定量评估方法。在此，出版物和专利被认为是衡量产出能力的尺度，引文数则是衡量其工作结果影响力的尺度。基于文献计量的科技评估是目前比较被认可的方法之一，具有客观、量化、易于比较等特点，并能够对科技产出能力等重要指标有较为直观的评估。文献计量法常采用的方法主要有出版物数量计量、著者数量计量、引文分析等。
优点：一是用客观的数据取代了主观判断。二是它对所有的引证都基本做到公平公正。
缺点：一是作为研究成果发表的文献数量与项目研究质量并不必然正相关。二是文献被引用可能是因为个人关系、人为的自引等因素，很难表征质量上的差异。三是不同学科的引文率有差异。四是因存在期刊本身质量的差别，发表在不同期刊的论文质量可能具有极大差异。五是文献计量法仅限于就论文、专著、专利等成果进行定量分析，不能全面度量科技产出的质量及影响。
（三）数学分析方法
科技不同阶段的评估都是多属性决策的问题， 既要對科技做出定性的评价， 又需要结合科学的评估方法得出定量的分析。在科技的评估实践中，单纯的专家评估或文献计量方法往往不能满足评估的要求，还需要进行量化处理，引入一些数学分析的方法，对科技做出全局性、整体性的评估。目前常用的数学分析方法主要有层次分析法、主成分分析法、效用函数法、模糊综合评估法、灰色综合评判法等。
1.层次分析法
层次分析法（Analytic Hierarchy Process 简称AHP）是美国匹兹堡大学运筹学家托马斯？塞蒂（T.L.Saaty）于20世纪70年代初，在为美国国防部研究"根据各个工业部门对国家福利的贡献大小而进行电力分配"课题时，提出的一种层次权重决策分析方法。它本质上是一种决策思维方式，它把复杂的决策问题分解为各个组成因素， 并将这些因素按支配关系分组，形成有序的递阶层次结构，通过两两比较的方式确定层次中诸因素的相对重要性， 然后综合人的判断以决定决策诸因素相对重要性总的顺序。同时层次分析法能把决策过程中定性与定量因素有机地结合在一起，用一种统一的方式进行处理，既能保证模型的系统性、合理性，又能使决策管理专家充分运用其有价值的经验与判断能力。它是将决策者的思维过程实现数量化，从而解决多目标、多层次、多准则决策问题的方法。AHP体现了人们决策思维的基本特征，即分解、判断、排序、综合。此方法是20世纪70年代初期美国匹兹堡大学运筹学家托马斯？塞蒂（T.L.Saaty）创立的。
使用层次分析法建立数学模型可分为5步：一是建立递阶层次结构模型；二是构造两两比较判断矩阵；三是层次单排序；四是层次总排序；五是层次总排序一致性检验。
优点：层次分析法是一种定性定量分析相结合的决策方法，对主观判断作定量描述，加之其所具有的系统性、灵活性、综合性、简便性和准确性的特点，使其成为非常实用的决策方法，并得到了广泛应用。层次分析法十分适用于具有定性的或定性、定量兼有的决策分析，其核心功能是对方案进行排序选优，为管理者提供定量形式的决策依据。
缺点：层次分析法得出的结果是粗略的方案排序。在适用过程中，无论是建立层次结构还是构造判断矩阵，人的主观判断、选择对结果的影响较大，使得该方法主观成分较大，应用上存在局限性。
2.主成分分析法
主成分分析（Principal Component Analysis，PCA）是由卡尔（Karl）和皮尔逊（Pearson）最早在1901年提出，只不过当时是应用于非随机变量。1933年霍蒂林（Hostelling）将这个概念推广到随机向量。PCA也被称为主分量分析， 是多变量的分析技术之一，用于分析数据和建立数理模型。它是利用原变量之间的相互关系，用较少的新变量代替原来较多的变量，利用降维的思想， 在保留原有指标所包含信息的基础上，通过统计分析把多指标转化为少数几个彼此不相关的综合指标的一种统计分析方法。
优点：一是避免了评价过程中权重确定的主观性和随意性，评价结果比较符合实际情况；二是可消除评估指标之间的相关影响；三是可减少指标选择的工作量；四是计算比较规范，便于计算机实现。
缺点：一是主成分的解释其含义一般多少带有点模糊性，不像原始变量的含义那么清楚、确切，这是变量降维过程中不得不付出的代价。二是主成分分析法中，需首先保证所提取的前几个主成分的累计贡献率达到一个较高的水平（即变量降维后的信息量须保持在一个较高水平上），其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释（否则主成分将空有信息量而无实际含义）。
3.效用函数法
效用函数的研究最早可追溯到18世纪数学家丹尼尔？伯努利（Danniel Bernoulli）关于“圣彼得堡悖论（St.Petersburg Paradox）”的研究。科技项目评估指标众多，需要用到多指标体系下的评估方法。对于多指标综合评价，简单的思想是：将多个评价指标进行同度量化，然后再按照一定得合成模型加权求得总评价值。多指标体系下的各指标同度量化一般采用效用函数评价方法。所谓效用， 是对总目标的效能价值或贡献大小的一种测度。在风险决策的情况下， 可用效用来量化决策者对待风险的态度。通过效用这一指标， 可将某些难以量化、有质的差别的事物（ 事件） 给予量化，将要考虑的因素折合为效用值， 得出各方案的综合效用值，再进行决策。
优点：方法简单和可操作性强。
缺点：科技评价指标体系中，不同类别的科技指标的重要程度有所不同，而效用函数法中的权重是由评估人员主观确定的，因此科学性有所欠缺，往往评估结果与实际状况出入较大。
4.模糊综合评估法
模糊综合评判最早是由我国学者汪培庄1980年提出的，这一应用方法深受广大科技工作者的欢迎和重视，并且得到广泛的应用。模糊综合评价法（Fuzzy Comprehensive Evaluation，简称FCE）是以模糊数学为基础，应用模糊关系合成的原理，对受到多种因素制约的事物或对象， 将一些边界不清的、不易定量的因素定量化， 进行综合评价的一种方法。即把待考察的模糊对象以及反映模糊对象的模糊概念作为一定的模糊集合，建立适当的隶属函数，并通过模糊集合论的有关运算和变换，对模糊对象进行定量分析。
优点：一是数学模型简单，容易掌握；二是所得结果为一向量，克服了传统数字学方法结果单一的缺陷，结果包含的信息丰富；三是较好地解决了评估指标和评估标准模糊性的问题， 克服了人的主观臆断， 增强了评估结果的说服力和准确性；四是能较全面地汇总各评价主体的意见，综合反映被评对象的优劣程度。
缺点：一是各因素权重的确定带有一定的主观性； 二是不能解决评价指标间相关造成的信息重复的问题；三是在某些情况下，隶属函数的确定有一定困难，过于繁琐。
5.灰色综合评判法
1982年，中国学者邓聚龙教授创立的灰色系统理论，是一种研究少数据、贫信息、不确定性问题的新方法。灰色系统理论以“部分信息已知，部分信息未知”的“小样本”“贫信息”不确定性系统为研究对象，主要通过对“部分”已知信息的生成、开发，提取有价值的信息，实现对系统运行行为、演化规律的正确描述和有效监控。灰色综合评判法就是基于灰色系统理论，在已知信息不充分的前提下，评判具有模糊因素的事物或现象的一种方法，在某一时段所处的状态， 针对预定的目标，通过系统分析，做出一种介于定性與定量之间的评价与描述， 以便在更高的层次上，对系统的综合效果与整体水平形成一个可供比较的概念与类别。
优点：一是不需要大量的样本；二是从等级的不明确性出发，具有较高的分辨力；三是最大程度的综合考虑了每一个样本数据对最终评价结果的影响，得出的结论在理论上更符合被评对象的本原属性；四是可以用于评定等级，也可用于排序选优。
缺点：一是现在常用的灰色关联度量化模型不能全面反映事物之间的关系；二是不能解决评价指标间相关造成的评价信息重复问题，指标的选择对评判结果影响很大。
综上所述，每种方法各有利弊，项目评估应针对不同评估阶段，选择一种或多种方法进行全方面的综合评估。而对继续教育机构的教学研究项目而言，不仅要评估项目本身，还要评估项目对教学的成效以及对继续教育机构的贡献度，做出定性评价的同时，也应根据具体指标情况、结合各种方法的优缺点开展定量分析。
三、结语
近十多年来，国内外也出现了一些新的评估模型和方法，因其理论上无重大突破，未能完全克服经典方法中存在的局限性，故近十几年的评估实践中，仍然还是这些比较经典的评估方法和模型起主导作用。
评估是事物价值在人的意识中的反映，其本身具有主观性。本文通过对可参考的国内外经典的科技评估方法梳理，对比研究发现，教学研究项目评估工作中，首先应制定规范的评估程序，针对不同的评估对象、不同的评估指标体系，选用适用的评估模型和数据处理方法，也可对经典的评估方法加以修正改造，尽量缩小评估中的差异性，使评估方法具有减弱或消除主观因素成分的功能，以期获得更加可靠的评估信息，适应特定的评估对象，提高评估的科学性。
参考文献
[1]吴述尧.同行评议方法论[M].北京：科学出版社，1996.
[2]周琳，殷学平.科研项目评估方法的研究[J].解放军医院管理，2002（1）.
[3]赵焕臣等.层次分析[M].北京：科学出版社，1986.
[4]陈挺.效用函数法.决策科学与系统工程[M].北京：中国国防科学技术出版社，1990.
[5]郭齐胜，郅志刚，杨瑞平.装备效能评估概论[M].北京：国防工业出版社会，2005.
[6]吴健峰.基于模糊规则的现代教学评价的研究与实现[D].上海：华东师范大学，2007.
[7]张丽娜.AHP-模糊综合评价法在生态工业园区评价中的应用[D].大连：大连理工大学，2006.
[8]陈海素.基于AHP和模糊评判法的土地利用总体规划实施评价研究[D].福州：福建师范大学，2008.
[9]杜栋，庞庆华，吴炎.现代综合评价方法与案例精选[M].北京：清华大学出版社，2011.
下一篇：工业工程在物流领域的应用研究