基于CIPP模式的职业院校产教融合质量评价指标体系研究
关键词:评价指标体系职业院校
孙健,王琦琪,郑大伟,周向峰



摘要:职业院校产教融合质量评价是以职业院校产教融合行为作为对象,依据一定的评价原则与标准,以满足利益相关方要求为目的开展的系统性价值判断。CIPP评价作为一种全过程评价,与职业院校产教融合质量评价思路高度吻合。有必要以CIPP模式作为框架,借助SPSS和AMOS等分析工具,构建職业院校产教融合质量评价指标,同时,以层次分析法(AHP)确立评价指标权重,最终形成基于CIPP模式的职业院校产教融合质量评价指标体系。
关键词:职业院校;CIPP模式;产教融合质量;AHP;评价指标体系
中图分类号: G719.2文献标识码: A
一、职业院校产教融合质量及其评价
产教融合是职业教育与产业的深度融合,是职业院校与行业企业合作共建培养高素质技术技能型人才的活动,提升产教融合质量是实现职业教育高质量发展的基本保证。关于“质量”,ISO9000的解释为:一组固有特性满足要求的程度[1]。职业院校产教融合质量是职业院校产教融合活动符合利益相关者要求的程度。由于产业具有发展性、动态性等特点,职业院校产教融合质量必然呈现出发展性、综合性等特征,涉及资源配置、组织保障、人才培养、就业质量等综合要素[2]。因此,职业院校产教融合质量是一个内容丰富,多种因素相互影响的综合概念。它要求职业院校以产业的人才需求为导向,通过产教融合活动,来保证职业院校产出的合理性与有效性,最终实现职业院校价值与社会价值的统一。
职业院校产教融合质量评价是以职业院校产教融合行为作为对象,依据一定的评价原则与标准,以满足利益相关方要求为目的开展的系统性价值判断。在进行产教融合质量评价时,以产业所需人才为导向,通过企业与学校的合作共建,保证教育成果的有效性与合理性,实现教育价值与社会价值的统一[3]。在构建相应的职业院校产教融合质量评价体系时,要以国家政策为导向,从多方利益相关者的利益诉求出发,把握好体系框架的价值维度,建立健全评价标准,采用规范化的方法,明确职业院校产教融合质量评价体系的维度、指标、权重等基本要素。一方面,实施产教融合涉及政府、行业、企业、学校等多个主体。因此,根据利益相关者理论,职业院校产教融合质量评价应该以参与者的价值实现为最高目的,重视在产教融合活动过程中参与者的需求以及思想与情感上的变化。在质量评价上要以所有利益相关者为整体框架,各利益相关者所要求达到的程度为基本内容。强调的是诸多利益相关者在产教融合活动中的整体利益。在构建职业院校产教融合质量评价体系时,要充分考虑各个主体的利益诉求,从不同主体的目的与需求出发,来构建不同维度的评价指标;另一方面,系统论主张将研究对象看作整体,研究整体、要素与环境的相互关系与变动规律,以优化系统的角度看待问题。因此,从系统论的视角来看,职业院校产教融合质量评价是对其质量进行动态评估的系统工程。职业院校产教融合质量评价体系是一定时期内特定内容与模块构成的评价整体内容及其运行系统的总称,具有整体性、结构性、动态性三个基本特征;它要求要以不同的内容为基础,用动态发展的方式构建出能从整体上反映职业院校产教融合质量的评价体系。
二、职业院校产教融合质量评价指标遴选
(一)CIPP评价模型
由美国教育家斯塔佛尔比姆(Stufflebeam D L)提出的CIPP(C为背景Context,I为输入Input,P为过程Process,P为结果Product)模式是一种成熟的评价模式且在教育评价领域一直被广泛应用。起初,斯塔佛尔比姆在教育评价时选择沿用泰勒的目标导向模式,但他发现由于环境与地域差异,学生在学习程度与需求上各不相同,在教育目标上也存在很大差异,因此在实际评价时很难达到预期的评价效果。于是斯塔佛尔比姆提出了CIPP模式。CIPP模式主张,评价最为主要的目的不在证明,而在改进。CIPP模式作为一种全过程评价,它认为要在教育活动的过程中对教育质量进行全面评价;在评价中注重教育活动过程中的关键因素及其相互关系。所以其评价结果不受教育目标的限制,体现的是教育活动中各关键因素共同对教育质量的影响。它主要是由背景评价、输入评价、过程评价、结果评价四个环节构成。这四个环节与职业院校产教融合活动思路和理念高度吻合,可以将CIPP模式运用到职业院校产教融合评价指标构建中。
背景评价(C)是指通过描述特定环境下的需要、问题、资源与机会来对教育目标进行诊断性评价,其基本取向是衡量实施目标与实施过程中各影响因素之间的差距。它包括界定所需服务的背景与环境,确定相关的利益主体并评定其需要,厘清各利益相关方的问题与实际存在的障碍,明确可提供的资源与条件等方面。
输入评价(I)是以背景评价为基础,对所选实施方案及方案所需的资源和条件进行评估。其本质是评价实施的可行性与有效性。包括分析目标的可能性、选择有效的实施策略、制定可行的计划与程序、确定资金等资源与条件的支持等。进行输入评价的主要目的是在对环境背景与需要进行分析之后,分析可能的实施策略,提供有用的信息。
过程评价(P)本质上属于形成性评价,进行过程评价的主要目的是对实施过程进行持续地监督与检查,并及时向执行者与评价者提供反馈信息,了解实施的进度,发现实施过程中的潜在问题并及时调整与修正。它主要包括实施程序、修改策略、提供实施过程的全面记录等。
输出评价(P)是指对目标的实现程度进行评价。通过描述和分析与教育结果相关的信息,判断和解释实施的成效,确定各利益相关者的满意程度。它包括对实施结果的描述与分析,以及将结果与目标、投入、实施过程进行关联与比较,来解释实施效果的价值与意义,并提供相应的改革意见。
(二)产教融合背景评价指标遴选
1.产教融合背景(C)评价指标遴选——基础保障
在对产教融合活动进行背景评价时,要确定预计目标与拟解决的问题,并分析产教融合的实施背景、可行性与必要性。评价内容主要是学校、行业企业在产教融合方面政策与章程的制定。因此,基于CIPP模式的背景评价,可以以产教融合基础保障为核心设置具体指标。借鉴《国务院办公厅关于深化产教融合的若干意见》与教育部印发的《高等职业学校设置标准(暂行)》有关产教融合基础保障的规定,以及姜泽许[4]、秦凤梅等人[5]、张军贤等人[6]的研究成果。产教融合背景部分评价指标来源如表1所示。
表1中,专家学者对产教融合背景评价指标的构建,主要体现在章程与方案的制定、相关机构设置、专业与产业的对接等方面。基于此,本文以基础保障为中心,在“产教融合背景评价”下设置“产教融合章程”“产教融合机构设置”“产教融合实施方案”“产教融合配套保障”“专业设置与产业的对接性”五项具体指标。
2.产教融合输入(I)评价指标遴选——资源投入
产教融合输入评价主要是对产教融合活动投入的资源进行评价,产教融合是职业院校与企业资源的整合,是否提供了充足的资源是衡量产教融合有效性的重要表现,即产教融合主体人力、物力、财力投入的表现。因此,基于CIPP模式中的输入评价,可以以产教融合资源投入为核心设置具体指标。借鉴《国务院办公厅关于深化产教融合的若干意见》与教育部颁发的《职业院校数字校园建设工作标准》有关产教融合资源投入的规定,以及荣长海等人[11]、李振华等人[12]、周霞霞等人[13]研究成果,产教融合输入部分评价指标来源如表2所示。
表2中,专家学者对产教融合输入评价具体指标的构建,主要体现在基础设施、师资力量、实训基地建设、教育经费等方面。基于此,本研究以资源投入为核心,在“产教融合输入评价”下设置“产教融合教育经费”“产教融合实践教学设备值”“产教融合实训基地建设”“双师型教师比例”“专兼职教师比例”五项具体指标。
3.產教融合过程(P)评价指标遴选——人才培养过程
产教融合过程评价是通过跟踪产教融合活动的实际过程,评估产教融合活动的执行情况。其中,人才培养是职业院校产教融合活动的核心,是职业院校产教融合活动的根本任务,是衡量其活动效果的必备要素。因此,基于CIPP模式中的过程评价,可以围绕产教融合人才培养设置具体指标。根据《国家职业教育改革实施方案》中校企合作进行人才培养的相关要求,以及姜泽许、荣长海等人[19]、胡晓辉等人[20]的研究成果,具体指标来源如表3所示。
表3中,专家学者对产教融合过程评价具体指标的构建,主要体现在教材建设、课程建设、教学条件与利用、教学质量保障等方面。基于此,本研究以人才培养过程为核心,在“产教融合过程评价”下设置“校企共建课程”“校企共建教材”“校企协同实践性教学”“校企协同信息化教学”“教学质量保障体系”五项具体指标。
4.产教融合输出结果(P)评价指标遴选——毕业生质量
产教融合结果评价主要是通过监测、考核校企协同育人效果来评价产教融合实施的效果。其中,毕业生质量是衡量校企协同育人效果的核心;增强学生的就业能力与创业能力,提高学生培养质量,是产教融合的重要目的,是实施产教融合活动的归宿与落脚点。因此,基于CIPP模式的结果评价,以毕业生质量为核心来设置具体指标。借鉴《国务院办公厅关于深化产教融合的若干意见》有关产教融合结果评价的规定以及荣长海等人[25]、秦凤梅等人[26]、周霞霞等人[27]的研究成果,具体指标来源如表4所示。
表4中,专家学者对产教融合结果评价具体指标的构建,主要体现在毕业生就业率、专业对口率、毕业生认可度、薪资水平等方面。基于此,本研究以毕业生质量为核心,在“产教融合结果评价”下设置“毕业生认可度”“毕业生就业率”“专业对口率”“获奖获证优秀率”“毕业三年学生薪资水平”五项具体指标。
三、职业院校产教融合质量评价指标构建流程
(一)评价指标构建思路
职业院校产教融合质量评价体系的构建,要秉持科学性、可行性、系统性的原则,采用规范化的方法,明确评价指标的层次、结构、权重等基本内容。以此为基础,将不同的评价内容构建成一个系统、动态、可操作的评价整体。
本研究以CIPP全过程评价模式为分类依据,在对职业院校产教融合实践情况进行调研的基础上,设计了“产教融合背景”“产教融合输入”“产教融合过程”“产教融合结果”四个一级评价指标。“产教融合背景”下设置“产教融合章程”“产教融合机构设置”“产教融合实施方案”“产教融合配套保障”“专业设置与产业需求的对接性”五个二级指标;“产教融合输入”指标下设置“产教融合教育经费设置”“产教融合实践教学设备值”“产教融合实训基地建设”“双师型素质教师比例”“专兼职教师比例” 五个二级指标;“产教融合过程”下设置“校企共建课程”“校企共建教材”“校企协同实践性教学”“校企协同信息化教学”“教学质量保障体系”五个二级指标;“产教融合结果”的一级指标包含“产教融合专业化建设成果”“毕业生就业率”“专业对口率”“获证获奖优秀率”“学生毕业三年薪资水平”五个二级指标。
(二)评价指标信效度
在构建好职业院校产教融合质量评价指标之后,可以通过信度与效度来衡量评价指标的科学性。由于时间与经费所限,本课题组共向江苏省常州市某职业院校的专任教师和管理人员发放调查问卷103份,有效回收100份,有效回收率为97%。与此同时,为了验证问卷内容效度,课题组对常州市某职业院校学生、合作企业人力资源负责人与职教专家开展访谈调查,用以修正问卷相关题目,最后,通过SPSSAU平台对问卷数据进行分析。
1.信度分析
信度是指各项指标数值在测量结果中的可信程度。在测量产教融合质量评价体系的信度时,可以采用内部统一性效度的测量方法,通过计算克朗巴赫(Cronbach)的内部一致性α系数,来精准反映产教融合质量评价体系的内部结构与统一性水平。经过分析,问卷的Cronbachs α系数为0.906,大于0.8,所以该评价指标体系的总体信度较高。同时,该指标体系四个维度的Cronbachs α系数都大于0.8,可以说明本研究构建的产教融合质量评价指标体系无论是从整体来看,还是从各个维度来看,其可信程度还是比较理想的。
2.效度分析
(1)内容效度
在编制问卷过程,通过咨询职业院校学生、合作企业人力资源负责人与职教专家,对评价体系的指标进行了部分修改。其中,将“产教融合背景”维度下的“产教融合专业设置”修改为“专业设置与产业需求的对接性”,将“产教融合输入”维度下的“产教融合教学资源”修改为“产教融合实践性教学设备值”,将“产教融合结果”维度下的“学生平均起薪”修改为“学生毕业三年薪资水平”。将修改过的问卷再交给职教专家们进行审阅,最终也得到了认可,确保了质量评价体系的内容效度。
(2)结构效度
本研究主要是通过因子分析来检验评价体系的结构效度。评价指标是否能进行因子分析,要通过KMO检验和Bartlett球形度检验来检验各个变量的独立性来确定。当KMO检验系数>0.5,P值(Bartlett球形度检验系数)<0.05时,问卷才有结构效度,可以进行因子分析。通过对评价体系的四个维度下的各项指标进行分析,KMO值为0.869,大于0.8,Bartlett球形度检验P值为0.000,可以说明该评价指标结构效度较好,且可以进行因子分析。
因子载荷系数值展示因子(潜变量)与分析项(显变量/测量项)之间的相关关系情况。本文利用SPSSAU对各项指标的因子载荷系数进行测量。因子载荷系数如果某项没有呈现出显著性,或者标准载荷系数值较低(例如低于0.4),则说明该项与因子间关系弱,可以考虑移除该项。针对测量关系来看:产教融合背景、产教融合输入、产教融合过程和产教融合结果以及每个具体指标的标准化载荷系数绝对值均大于0.6且呈现出显著性,意味着本问卷有着较好的测量关系,可以说明各变量在同一因子上体现。
本研究通过AMOS26.0软件进行验证性因子分析,来检验该问卷的结构效度。通过分析,得到了模型的各项拟合指标系数,2/df的值为2.851,小于3,适配理想,RMSEA为0.055,小于0.08,适配理想。GFI为0.882,大于0.8,结果适配良好;AGFI为0.849,大于0.8,结果适配良好;IFI为0.946,大于0.9,结果适配良好;TLI为1.029,大于0.9,结果适配良好。CFI为0.953,大于0.9,结果适配良好。综合来看,问卷整体的模型适配良好,问卷具有良好的结构效度。
(三)评价指标权重
指标权重的确立在构建职业院校产教融合质量评价体系时具有举足轻重的地位,本文采用层次分析法(AHP)来确立评价体系的各项指标权重。层次分析法是综合定性与定量的分析方法,运用该方法计算指标权重时,首先要确定评价目标与结构层次模型,并建立相应的判断矩阵;再将各级指标根据重要性两两比较,采用和积法对判断矩阵进行AHP层级法研究,确定各指标权重;最后根据最大特征根值计算得到CI值【CI=(最大特征根-n)/(n-1)】,并根据公式CR=CI/RI进行一致性检验,确保权重计算的一致性结果。计算出的指标权重详见表5。
一般情况下,CR值越小,说明判断矩阵的一致性越好。通常,如果CR值小于0.1,则判断矩阵满足一致性检验;如果CR值大于0.1,则判断矩阵不具有一致性,需要适当调整后重新进行分析。对于本评价指标构成的判断矩阵的计算结果,CI值为0.000,RI值查表为1.629,因此计算得到的CR值为0.000<0.1。这意味着本研究的判断矩阵通过了一致性检验,计算得到的权重具有一致性。
通过上述指标权重的计算可以看出,在职业院校产教融合质量评价体系中,一级指标体系权重最大的是产教融合过程,比重为0.2638。其次是产教融合输入,比重为0.2559,其后是产教融合结果与产教融合背景,比重分别为0.2420和0.2382。纵向来看,产教融合过程所占比重最大,对产教融合质量评价影响最大,职业院校、专家、企业对产教融合保障措施最为重视。产教融合过程评价要求学校与企业能够根据产业需求与目标,对接行业背景、学校专业设置与企业人才培养需求,明确学校办学特色与企业在产品与技术上的优势,实现学校与企业共建产教融合教材与课程,积极开展校企协同实践性教学与信息化教学,落实职业院校产教融合教学质量保障体系。从横向来看,这四个维度指标权重较为接近,反映出在进行产教融合质量评价时应该综合考虑基础保障、资源保障、人才培养、就业质量这四个方面的影响。提高产教融合质量,需要职业院校、企业等主体在组织、资源、人才培养、就业质量上共同发力。
(四)评价指标阐释
1.产教融合背景指标阐释
以基础保障为核心进行产教融合背景评价是进行产教融合的前提。产教融合背景主要包括产教融合章程、机构设置、实施方案、配套保障、专业设置与产业的对接性五个评价要素。产教融合章程是学校与企业为促进合作共建而共同制定的产教融合的基本规章制度和操作流程,它包括明确产教融合的目标和宗旨、规定产教融合的组织架构和责任分工、界定参与产教融合的主体和角色、规定产教融合的资源投入和分配机制等。在机构设置方面,学校与企业进行产教融合的过程中成立的管理各项组织架构、管理部门人员安排、信息化服务平台等是评价的重点。为了保障产教融合的顺利进行,需要提供各类支持和保障措施。因此,在进行背景评价时,应对产教融合配套保障进行评价,具体包括经费支持和政策倾斜、产教融合奖励和激励机制、专家咨询和技术支持等评价要素。而对专业设置与产业对接性的评价主要包括评价专业设置是否与当地产业发展需要相契合,专业课程设置是否与企业需求相匹配,教学内容是否与市场需求相接轨等。对接性的强弱将直接影响到职业院校培养的学生对产业岗位的适应能力和就业竞争力。
2.产教融合输入指标阐释
资源保障在产教融合活动中具有基础性的作用,它是实现产教融合活动目标的基础,因此在以资源保障为核心进行产教融合输入评价时,主要由办学资源与教师发展两大部分来进行构建。一方面,在办学资源方面,主要包括产教融合经费、实践教学设备值、实训基地建设等要素。产教融合经费是指政府对产教融合項目的财政拨款、企业的合作投资、学校自筹资金等。经费的合理设置至关重要,它直接影响到产教融合的规模和质量。产教融合实践教学设备主要包含先进的实验设备、创新科研设备、生产设备等。产教融合实践教学设备的配置与更新将直接影响到学生的实践培训效果和能力提升水平。对产教融合实训基地建设进行评价,是否建设或利用企业生产基地、实验室或工程现场等实践环境作为学生的实训基地,是否为学生提供真实的工作场景和项目实践机会是评价的关键要素。另一方面,在教师发展上,加强师资队伍的建设,促进教师发展是职业院校进行产教融合的重要目的之一。教师发展主要指双师型教师队伍的建设与专兼职教师的发展,关于双师型教师队伍建设,双师型教师的数量与比例、薪酬、教师晋升通道等是进行评价时应该关注的重点。而在专兼职教师发展的评价上,教师的数量、比例与结构、相关的待遇与奖励等是应该侧重考虑的问题。
3.产教融合过程指标阐释
当前,我国职业教育面临的主要难题就是职业院校人才供给链与产业需求链不匹配、不适用。因此,推动产教深度融合,实现产业与教育同频共振,学校与企业合作共建,专业人才培养与产业升级相适应是亟待解决的问题。基于CIPP模式的产教融合过程评价,衡量职业院校人才培养的效果,应该着手从产教融合课程建设与教学改革入手,评价内容包括校企共建课程、校企共建教学、校企协同实践性教学、校企协同信息化教学、教学质量保障体系等。在产教融合教材开发与课程建设上,应该重点评估职业院校与企业共同参与的教材开发、课程设计和实施过程。具体包括教材是否可以更加贴合实际工作场景和最新的行业发展,能否为学生提供更实用、生动的教学材料,帮助他们更好地理解和应用知识;课程内容是否贴近实际需求,是否能够培养学生所需的专业技能和实践能力等。在产教融合教学改革上,职业院校与企业合作开展的实践性教学项目、在信息技术应用方面的合作与发展情况,以及包括教师培训、课程评估、学生评价在内的教学质量监控与保障机制应是评价的重点。这五项具体指标能够帮助评价产教融合过程情况、课程建设与教学改革方面的实际效果。
4.产教融合结果指标阐释
基于CIPP模式的结果评价,以毕业生质量为核心。毕业生质量标准内涵丰富多元,既包含对学生就业率、学生毕业三年薪资水平的评价、又包括学生获奖获证优秀率、专业对口程度等要素的评价。产教融合专业化建设成果是指产教融合过程中针对开设专业所取得的成果。具体包括校企合作开发的专业课程、教材、教学模式、实践项目等方面的进展和成果。在产教融合结果评价中,针对学生就业质量上的评估,可以通过评价学生的就业率、专业对口率与薪资水平,来衡量产教融合培养的学生是否具备市场竞争力和较高的工作能力,是否能够获得较好的职业发展和薪资回报。可以通过对获奖获证优秀率的评估,来判断产教融合是否能够为学生提供在实践能力和专业培养方面的优秀成果与社会认可。这些指标既能够帮助评价产教融合的结果和成效,又能够衡量学生就业能力和专业发展程度。
整体来看,基于CIPP模式的职业院校产教融合质量评价指标体系是以CIPP模式为框架,评价职业院校产教融合质量的全过程指标体系。该指标体系有以下三个方面特点:(1)全过程评价。该指标体系覆盖了职业院校产教融合活动的所有环节,从背景评价到输出评价,涵盖了产教融合活动的全过程,能够全面评价产教融合的质量。(2)多维度评价。在每个评价环节中,具体的指标涵盖了不同方面的内容。例如,背景评价主要评估产教融合活动的实施背景、可行性与必要性;输入评价主要评估资源投入情况;过程评价主要评估人才培养过程的执行情况;输出评价主要评估产教融合的实际成果和效果。(3)综合性评价。该指标体系注重将不同环节的评价结果相互关联与比较,综合评价产教融合活动的质量。通过描述和分析相关信息与成果,判断和解释实施的成效,并提供相应的改革意见。在实施评价时,可以根据具体的评价目的和要求,选择相应的指标进行评估。评价过程应该搜集相关数据,进行数据分析和解释,得出评价结果,并结合实际情况提出改进建议。评价可以通过量化和定性的方法进行,例如采用问卷调查、访谈、观察等方法收集数据,并通过统计分析等手段进行解析。
尽管本论文对基于CIPP模式的职业院校产教融合质量评价指标体系进行了初步探索,然而,目前本论文还存在一些短板。未来的研究可以进一步完善基于CIPP模式的职业院校产教融合质量评价指标体系,包括扩大样本规模、收集更多的实证数据以验证指标的有效性和适用性。同时,可以采用更加先进的数据分析方法,进一步优化评价过程。此外,还可以考虑将其他评价模型与CIPP模式结合,以探索更全面、多维度的产教融合质量评价方法。
参考文献
[1]吴倩,程宜康.基于发展性的高职专业质量评价体系构建[J].职教论坛,2019(11):57-62.
[2][6][9][18]张军贤,张军华,甘坚强.基于CIPP模型构建高职院校产教融合质量评价体系[J].职业教育研究,2021(9):19-24.
[3]高慧,赵蒙成.高职教育产教融合质量评价中“人”的维度[J].苏州大学学报:教育科学版,2018(3):13-20.
[4][7][17][21]姜泽许.职业教育产教融合质量评价体系的构建[J].职教论坛,2018(5):34-39.
[5][8][23][26][29]秦凤梅,莫堃.基于CIPP模型的职业教育产教融合质量评价研究[J].西南大学学报:社会科学版,2022(3):194-203.
[10][30]吕路平,童国通.“双高计划”背景下高职院校产教融合质量评价体系研究[J].职业技术教育,2020(30):31-36.
[11][14][19][22][25][28]荣长海,高文杰,冯勇,等.关于高职院校教育质量及其评估指标体系的研究[J].天津师范大学学报:社会科学版,2016(3):40-47+75.
[12][15]李振华,张文龙.2018年全国高職高专院校竞争力评价的思考[J].中国职业技术教育,2018(17):76-78+91.
[13][16][27][31]周霞霞,王资,王庆春.我国高职教育内涵式发展评价指标研究[J].职教论坛,2017(4):45-53.
[20][24]胡晓晖,韩芳,董大奎.基于CIPP模式的高职专业教学质量评价指标体系构建研究[J].中国职业技术教育,2015(3):27-31.