教育信息化绩效评价指标体系研究
编者按:转载了一篇关于教育信息化绩效评价的博文,觉得有必要把我们在去年学会年会发表的相关论文也通过博客发布出来。记得《十年规划》总结会上,王延觉司长也提到教育信息化绩效评价将是下一阶段的工作重点之一,因此,希望能够引起同行关于教育信息化绩效评价的大讨论。吴海燕,蒋东兴,戚丽,袁芳,付小龙,杜炤,苗春雨
(清华大学计算机与信息管理中心)
摘要:教育信息化绩效评价是促进教育信息化持续发展的有效手段,缺乏实用的评价指标体系是开展教育信息化绩效评价巨大障碍。本文从基教、职教、高教、教育行政管理四种教育类别的教育信息化业务模型出发,通过分解教育信息化的支撑与建设对象,建立了教育信息化绩效评价的元模型,得到了教育信息化绩效评价指标体系的一级与二级指标,通过对绩效评价维度的分析,得到了三级、四级指标与数据观测点,从而构成了完整的教育信息化绩效评价指标体系。
关键词:教育信息化 绩效评价 指标体系
中图分类号:G434 文献标识码:B
1.引言
教育信息化是当今世界各国应对知识经济挑战、实现教育现代化的必由之路,是衡量教育现代化程度和综合实力的重要标志。教育信息化是提升教育质量、推动高等教育大众化、建立学习型社会的基础和条件。教育部“教育信息化建设与应用研究”重大课题的研究成果认为我国教育信息化建设总体处于“推广普及向应用提高转变”阶段,未来的发展重点是如何实现教育和信息技术的进一步融合与协调发展。为了实现这一目标,必须将对教育信息化水平的评价逐步由以“投入为主”,转变为以“绩效为主”,通过对教育信息化绩效评价来促进教育信息化的应用发展。
通过文献调研我们发现[1][2][3][4][5],在教育信息化绩效评价领域,无论国外还是国内都处于尝试探索阶段,在这一领域至今还没有成熟的理论指导和合适的测量办法、测量工具。教育信息化绩效评价是一个复杂的过程,因为教育信息化不仅是个动态的发展过程,还是个多投入多产出的过程,它的产出不易用量化指标来衡量。教育信息化的效益具有多样性,不仅要看其经济效益,更主要的是看社会效益;不仅要看当前效益,更多的表现为长远效益;不仅要看固有效益,更多的表现为派生效益。
完整的教育信息化绩效评价包括评价参与者、评价约束条件、评价指标体系、评价数据采集方法、评价模型与评价方法及评价基准等多方面内容,教育信息绩效评价指标体系的构建则是教育信息化绩效评价中的核心问题。在教育部软科学研究项目“教育信息化推进机制与政策研究”的支持下,我们开展了教育信息化绩效评价机制的研究,试图在充分参考国内外有关研究成果的基础上,从教育信息化绩效相关的若干评价层面出发,建立教育信息化绩效评价指标体系。我们通过对教育信息化内容的分析,抽取得到了教育信息化绩效评价的评价对象和层次关系,作为指标体系的一级、二级指标;通过对教育信息化绩效内涵的分析,得出了教育信息化绩效评价的四个评价角度,作为指标体系的三级、四级指标,进而构成了教育信息化绩效评价指标体系。
2.教育信息化绩效评价元模型
从国家教育系统整体上看,我国教育信息化的主要对象可以简化为教育部、省级教育厅、市级教育局、区县级教育局四级行政部门,管理着高等学校、职业学校、基础教育学校、学前教育学校四类学校。从教育信息化绩效评价看,既应包括对四级教育行政部门、四类学校的评价,就是微观的教育信息化评价;也应包括对国家教育系统信息化的整体评价,即宏观的教育信息化评价。本评价指标体系主要关注对于教育信息化对象的评价,属于微观评价层面。
2.1 教育信息化绩效评价对象剖析
为进行微观的教育信息化评价,需要对具体的评价对象进行剖析,本文对两类典型的教育信息化实体,即高等学校和教育行政管理机构,进行了业务及信息化对业务的支撑关系分析,建立了相应的业务模型及信息化支撑模型,并进一步对教育信息化的绩效评价对象进行了抽象。
高校主要包括人才培养、科学研究、社会服务、文化传承创新等职能,高校的业务也围绕着这几项职能展开,以这几项职能为主线,我们对高校业务进行分析、归纳、关联、整合,建立了高校的业务模型[6][7][8][9],通过对高校业务模型的分析归纳,我们提炼出高校信息化的三类支撑对象:业务活动(如教学活动、科研活动、管理活动等)、用户(如教师、学生、管理服务人员等)及事业发展目标(如人才培养、科学研究、社会服务、文化传承创新等)。而高校信息化的主要建设内容包括信息化基础设施、信息系统与数据、以及信息化人才队伍,这样,我们得出高校业务的信息化支撑模型如图1左图所示,图中所示的三个层次六方面内容,也正是教育信息化绩效评价关注的主要对象。
图1:高校与教育行政管理部门的信息化业务支撑模型
基于对教育行政管理部门的业务职能、管理层次以及主要业务信息流的分析,以学校、教师、学生三类主体的管理为主线,采用类似的方法对教育行政管理部门的业务、信息化支撑与建设内容进行了分析与抽象,建立了教育行政管理业务的信息化支撑模型如图1右图所示,与高校的模型类似,同样包括三个层次六个方面内容,也正是教育信息化绩效评价关注的主要对象。
2.2教育信息化绩效评价元模型
通过对比可以看出,高校业务信息化支撑模型与教育行政管理业务信息化支撑模型十分相似,我们从这两个模型中,能够抽象得出教育信息化的组成要素及要素间的支撑关系,构成了教育信息化绩效评价的元模型(如图2所示)。从教育信息化的组成要素来说,包括事业发展、业务活动与流程、用户效果、信息化基础设施、信息系统与数据、信息化队伍6个组成要素。从要素间的相互支撑关系上看,这6个要素又形成了3个层次,即IT技术层、业务活动与用户层、事业发展层,这3个层次形成了顺序支撑关系:IT技术层直接支撑教育的业务活动与流程、用户的应用效果;而教育的业务活动与流程和用户的应用效果又支撑着教育事业发展各项业务目标的实现。
图2:教育信息化绩效评价的元模型
3.教育信息化绩效评价指标体系的组成
教育信息化绩效评价即可简化为对教育信息化绩效评价的元模型的6个组成要素的评价,因此这6个要素构成了评价指标体系的一级指标,考虑到指标体系的可操作性,需要对这6个要素进行进一步分解,分解的结果即为指标体系的二级指标。为了实施评价,我们还需对教育信息化绩效评价的内涵与外延进行分析,即分析从哪些角度进行教育信息化绩效评价,对评价角度的分解即构成了三级、四级指标。对于每个指标项,还需要设置观测点,说明各指标需要采集的数据项。四级指标与观测点共同构成了完整的教育信息化绩效评价指标体系。因为篇幅的关系,本文只讨论教育信息化绩效评价通用指标体系,在此基础上进行裁剪,能够得到各具体教育类别的评价指标体系。
3.1一级、二级指标
综上所述,教育信息化绩效评价指标体系的一级指标包括事业发展、用户效果、业务活动与流程、基础设施、信息系统与数据、信息化队伍六项。对一级指标的分解则构成了二级指标项(如图3所示),因为本文研究的是通用的教育信息化绩效评价指标体系,所以在进行分解时,统筹考虑了高校、职教、基教、学前教育、教育行政管理等不同教育类别的情况。
图3教育信息化绩效评价指标体系的一级、二级指标
l纵观各教育类别,人才培养、科学研究、社会服务、文化传承创新是教育事业发展的主要目标,因此将一级指标“事业发展”进一步分解为这四个二级指标;
l学生、教师、管理人员、行政部门、校外用户是教育信息化的主要服务对象,教育信息化绩效中对于用户效果的绩效评价主要考量这五类用户的信息化体验,因此,将一级指标“用户效果”进一步分解为这五个二级指标;
l通过对各类教育业务的分析,我们发现教育的业务主要有教学活动、科研活动、管理活动、生活服务、文化与交流活动等五类活动,教育信息化对于教育事业的支撑主要体现在对这五类活动的支撑,因此将这五类活动作为一级指标“业务活动与流程”的二级指标,通过评价教育信息化对这五类活动的支撑绩效,评价教育信息化对教育业务活动与流程的支撑绩效;
l信息化基础设施包括网络、数据中心、电化教学环境、办公及实验室计算机设备等四类内容,体现了教育信息化的硬件建设成果,因此将一级指标“基础设施”分解为这四个二级指标,评价教育信息化基础设施的建设绩效;
l信息系统及数据是信息化建设的重要成果,体现了教育信息化技术应用方面的成果与效果,因此将一级指标“信息系统与数据”分解为信息系统和数据两个二级指标,评价教育信息化在信息系统与数据方面的绩效;
l信息化队伍既包括信息化专职队伍——网络信息中心的专业技术人员,又包括信息化兼职队伍——管理部门、院系信息员及网管队伍,信息化队伍是教育信息化建设推进的执行者,将一级指标“信息化队伍”分解为信息化专职队伍及信息化兼职队伍这两个二级指标,评价教育信息化队伍建设方面的绩效。
3.2三级、四级指标
通过对评价对象的分析与研究,我们得到评价指标体系的一级、二级指标,下文将对通过对评价维度的分析,建立指标体系的三级与四级指标。
单纯从语言学的角度来看,绩效包含有成绩和效益的意思。绩效评价是一个创新发展中的概念,内涵本身就是兼容并蓄的,外延也极其广阔,只有结合特定语境,才能准确定义。结合我国教育信息化的发展历程、现状与远景目标,我们认为信息化绩效是指信息化建设的表现、状态、成绩、效果。具体来说,将绩效分解为投入、成果、质量、效果四个方面,作为指标体系的三级指标,从这四个方面对教育信息化绩效评价的评价对象进行绩效评价。进一步结合教育信息化的特点,将投入分解为人力与财力投入,即经费与人力;将成果分解为数量、广度与深度;将质量分解为“正确、准确”、“方便、快捷”、“安全、稳定”、“标准、规范”四个子评价角度;将效果分解为效率、效益、用户满意度、能力提升、结构优化、开放共享六个子评价角度。对于三级指标的分解构成了绩效评价体系的四级指标,如图4所示。
图4教育信息化绩效评价指标体系的三级与四级指标
3.3指标体系示例
上文中我们对教育信息化绩效评价的对象与评价角度进行了深入分析,作为评价指标体系的一级、二级与三级、四级指标,评价对象与评价角度的结合,辅之以具体的观测点,就形成了完整的教育信息化绩效评价指标体系。因完整的指标体系篇幅较长,本文只截取了一级指标“事业发展”部分的内容,如下表所示。
表1:教育信息化评价指标体系(通用)一级指标“事业发展”部分内容
二级 指标 | 三级指标 | 四级 指标 | 观测点 |
人才培养 | 成果 | 数量 | 教学信息资源的总量 |
数字化教学课程的数量 | |||
效果 | 能力提升 | 能够应用信息技术检索和收集信息的人员比例 | |
能够熟练应用信息技术撰写电子文档的人员比例 | |||
能够熟练应用信息技术分享和交流信息的人员比例 | |||
通过信息技术开展教学活动的课程比例 | |||
在学习中熟练应用信息技术的学生比例 | |||
在教学中熟练应用信息技术的教师比例 | |||
科学研究 | 成果 | 数量 | 科研装备数字化比例 |
科研资源的总量 | |||
数字化科研数据、实验数据记录数 | |||
数字化科研成果的数量 | |||
效果 | 效率 | 纳入信息化管理的科研项目比例 | |
应用信息技术开展科学研究的科研项目比例 | |||
能力提升 | 能够应用信息技术检索科技文献数据库查找科技期刊论文的人员比例 | ||
能够应用仿真、模拟、科学计算等信息技术手段开展科学研究的人员比例 | |||
通过信息化开展科研协作比例 | |||
开放共享 | 通过科研资源共享平台共享仪器设备的次数 | ||
通过科研资源共享平台共享的仪器设备资源总数 | |||
Google等四大搜索引擎搜到总页数 | |||
用GoogleScholar搜索到的该机构库拥有的归一化后的论文总数 | |||
社会服务 | 成果 | 数量 | 对外宣传网站的总页面数 |
教育电子政务公开的栏目数 | |||
效果 | 效益 | 对外宣传网站的最近三年的年均访问量 | |
网络远程课程的在学学生人数 | |||
建立电子学习档案的学生比例_ | |||
开放共享 | Google等四大搜索引擎搜索的学校网站总页面数 | ||
开放的网络课程门数 | |||
开放的精品课程门户 | |||
开放的多媒体课件个数 | |||
教育公共信息服务占全部教育公共服务的比例 | |||
文化传承 | 成果 | 数量 | 外文网站的页面总数 |
文化网站的页面总数 | |||
外文网站的非中文语种个数 | |||
效果 | 效益 | 文化网站最近三年的年均访问量 | |
外文网站的最近三年的年均访问量 | |||
校园社交网站年均发帖数量 | |||
校园社交网络的用户总数 | |||
校园社交网络的人均年访问次数 | |||
访问网站的校外IP所属的国家和地区总数 |
4.总结与展望
教育信息化绩效评价是教育信息化发展到一定阶段后必需开展的工作,开展绩效评价有利于为教育信息化的有序发展建立正确的导向。教育信息化绩效评价各方面的研究都刚刚起步,虽然国际上有一些经验可以借鉴,但需要我们结合国情进行探索。本文通过对具体的教育信息化业务模型的深入剖析、对教育信息化绩效评价内涵的分解,得出了一个有四级指标及相应观测点构成的评价指标体系。因为作者的阅历、掌握的研究资料等条件的局限,该指标体系还有许多不尽完善之处,恳请各位专家批评指正。
同时还需看到,教育信息化绩效评价是一项复杂的系统工程,建立评价指标体系仅仅是其中的一项内容,后续还需开始数据采集方法设计与实现、评价模型与评价方法设计等在内的研究与实践工作,才能真正将教育信息化绩效评价开展起来,这需要教育信息化战线上全体同仁的共同努力。我们相信,对教育信息化进行科学、可行的绩效评价,是教育信息化持续有序发展的必由之路,必将在中国教育信息化的发展历程中发挥重要作用。
参考文献
1.中国高等教育学会教育信息化评价体系调查,http://www.edu-info.edu.cn/xhzl/pjtxdc.html
2.Campus ComputingProject (CCP)项目,http://www.campuscomputing.net/
3.张成洪,朱宇红,————高伟勋,宓詠,高校信息化评价指标体系研究,教育信息化,2004年第7月(增刊),总第100期。
4.李兴国等,广东高校信息化建设参考标准,粤教信息[2005]1号文件。
5.金永灿(译),韩国高等教育信息化指标的开发研究,2002.12。
6.刘启新、蒋东兴、付小龙等,《校级统一信息系统顶层设计方法》,《大连海事大学学报》,第35卷增2,2009.9
7.王旭、蒋东兴、陈怀楚,《大学资源计划的理论与发展》,《教育信息化》,2005.11
8.http://www.opengroup.org/architecture/togaf9-doc/arch/index.html
9.http://www.whitehouse.gov/omb/e-gov/fea/