生产经营型新型职业农民培训效果评价指标体系的理论构建_吕莉敏.pdf

第 期（总第 期）成人教育 ：生产经营型新型职业农民培训效果评价指标体系的理论构建吕莉敏，石伟平（江苏理工学院，江苏 常州；华东师范大学，上海）【摘 要】新型职业农民培训效果评价既是政府有效配置资源的参考，也是培训机构优化培训方案的依据，还是提高培训质量的有效途径。而科学构建新型职业农民培训效果评价指标体系则是有效开展新型职业农民培训效果评价工作的前提和关键。通过访谈法、问卷法、层次分析法等质性和量化相结合的方法研究发现：培训效果的滞后性特点及政府主导的新型职业农民培训公益性特征要求，理想的新型职业农民培训效果评价标准应是既包含即时效果指标，又包含延时效益指标的多层级指标体系；新型职业农民培训效果评价指标体系包含培训满意度、职业素养养成度和培训成效外溢度三个一级指标和十二个二级指标；培训成效外溢度权重值最大，培训满意度权重值最小，新型职业农民培训效果评价应更加注重培训的延时效益。【关键词】生产经营型；新型职业农民；培训效果；评价指标体系【中图分类号】【文献标识码】【文章编号】（）【收稿日期】【基金项目】年度江苏高校哲学社会科学研究重大项目“基于乡村振兴的高素质农民培育政策支持体系研究”，项目编号为，项目主持人：吕莉敏【作者简介】吕莉敏（），女，江苏宜兴人，博士，江苏理工学院农村职业教育研究所副教授，研究方向为农村职业教育；石伟平（），男，上海人，教授，博士生导师，华东师范大学职业教育与成人教育研究所所长，研究方向为职业技术教育。一、问题提出与文献回顾 年中共中央印发中国共产党农村工作条例，强调要“培养一支有文化、懂技术、善经营、会管理的高素质农民队伍”；同年，启动实施“百万高素质农民学历提升行动计划”；年，中共中央办公厅、国务院办公厅印发的关于加快推进乡村人才振兴的意见再次强调“乡村振兴各领域人才规模不断壮大、素质稳步提升、结构持续优化”的总要求，“坚持把乡村人力资本开发放在首位，培养造就一支懂农业、爱农村、爱农民的高素质农民队伍。”职业培训作为高素质新型职业农民队伍建设的基础性工作，效果评价是其必要环节。新型职业农民培训效果评价不仅是政府有效配置资源的参考，也是培训机构优化培训方案的依据，还是提高培训质量的有效途径。因此，科学制定新型职业农民培训效果评价标准成为了当前亟须解决的现实问题。自从 年中央一号文件首次提出“大力培育新型职业农民”以来，学术界纷纷围绕“什么是新型职业农民”“谁来当新型职业农民”“如何培育新型职业农民”等问题展开深入的理论探讨，以期能够精准指导各地新型职业农民培训实践工作。经过十年的研究与实践，取得了丰富的成果。然而，现有关于新型职业农民的相关研究点多面广，比较宽泛，研究不够深入和系统。关于新型职业农民“精准培训”实施的理论研究，尤其是新型职业农民培训效果评价研究还未引起学者足够重视。效果评价是职业培训的重要一环，也是最难的一环。目前有关“培训效果评价”的研究主要聚焦在企业员工群体，对于新型职业农民这一新群体的培训效果评价研究多为各地实践经验的总结，缺少实证研究，尤其缺少构建科学的培训效果评价指标体系客观测评培训效果的实证研究，部分相关研究仅是基于经济学的“投入产出”比较（张景林，）、培训前后的农业收入差异（翁杰、郭天航，）或者培训“满意度”等单指标研究（陆泉志、陈明伟、王邕，）。生产经营型新型职业农民是高素质新型职业农民的典型代表，是实施乡村振兴战略的主力军，生产经营型新型职业农民队伍的质量攸关乡村振兴战略的进程。我国政府主导的生产经营型新型职业农民培训具有以下三个特点：一是实践中的生产经营型新型职业农民培训多为短期培训或者分阶段培训，难以采取充分互动形式将评价活动切入到某一次培训的过程中；教育培训效果通常无法立竿见影，只有当受训农民的工作内容与培训内容发生交集的时候才能逐渐显现，培训效果的滞后性特点提示我们应该充分考虑培训在农民个体的体面工作与美好生活以及乡村社会发展谋福祉方面取得的实际效果。因此，新型职业农民培训效果评价具有明显的“事后评价”特征。二是新型职业农民培训不同于一般的企业员工培训，政府作为培训服务的主要供给者，往往不能像企业那样仅仅追求成本收益的最优解，常常需要通过经济上看似无效的支出来换取社会管理效益。而且考虑到教育培训效果的滞后性，政府公共财政支出的效益可能在短时间内无法显现，这就加大了“投入产出”的分析难度，因而仅仅注重经济效益的“投入产出”单指标投资回报率评价不适合测评新型职业农民培训效果。三是新型职业农民培训不同于一般的农民技术培训，作为衔接巩固脱贫攻坚成果和乡村振兴的重要举措，其主要目的是改变农民“素质低”“收入低”“地位低”的现状，提高农民综合素质，进而促进农业农村现代化发展。而参训农民作为培训的“消费者”和主要“受益者”，他们对培训的主观感受和实际收获最能够表征培训的实际效果。综上，本研究认为理想的生产经营型新型职业农民培训效果评价标准应该强调受训农民的主体作用，突出培训活动的实际效益，该评价标准应是一个既可测评受训农民通过培训对知识和技能等即时效果的掌握情况，又可测评培训对个人及社会发展等延时效益贡献情况的多指标体系。二、研究设计与研究过程（一）研究思路构建一套科学的新型职业农民培训效果评价指标体系，需全面考察生产经营型新型职业农民培训实践效果，这有助于了解新型职业农民培训的实际效果，为政府部门的资源优化配置提供政策建议；也有助于及时发现培训存在的问题，便于调整、完善培训设计与实施。然而，指标的构建并非一蹴而就的事情，需要不断地完善和修正。因此，本研究构建新型职业农民培训效果评价指标体系的基本思路是：首先，通过对被评价对象的操作化定义确定评价维度，根据评价维度设计半结构化访谈提纲，选取访谈对象进行深入访谈，运用扎根理论的三级编码方式对访谈资料编码构建测量指标；其次，通过专家咨询、问卷数据的项目分析和因素分析等质性和量化相结合的方式对构建的指标体系的完整性和逻辑性进行检验，并对指标体系进行修正完善；最后，通过层次分析法，经构造判断矩阵、专家打分、计算重要性排序和一致性检验等步骤为新型职业农民培训效果评价指标体系赋权，形成最终的生产经营型新型职业农民培训效果评价标准。（二）研究内容与方法.新型职业农民培训效果评价指标体系的初建探究被评价对象“培训效果”这一核心概念的内涵和操作化定义是构建新型职业农民培训效果评价指标体系的第一步，也是确定评价指标体系的基础。概念的界定仅仅解决了概念名义定义的内涵问题，相当于划定了概念内涵的具体范围，对于经验性社会调查来说，还需要将其转化成能具体观察和测量的指标，即对其进行操作化处理。对概念进行操作化处理主要包括两方面的工作：一是澄清和界定概念，准确理解概念的内涵和表现形式；二是发展测量指标。（）构建新型职业农民培训效果评价框架“效果”一词从中文字面分析，“效”指成效、效益、效率，包括产生的影响和效益、成本的降低程度以及投入与产出的关系等，侧重反映质；“果”指结果、成果，侧重反应量。效果既是产出（结果）与影响（过程）的统一，也是质与量的统一。准确界定培训效果的内涵是制定新型职业农民培训效果评价指标体系的先决条件。关于培训效果的内涵，国内外学者至今未形成统一的认识，西方管理学界代表性观点主要有“效果行为观”“效果结果观”和“效果能力观”。如，（）认为效果是与其工作的组织或目标有关的行为；（）认为效果就是与组织目标、顾客满意度和资金投入相关的工作结果；咨询公司 总裁 认为效果即能力。随着人们对效果内涵认识的不断深入，培训效果的概念越来越丰富，从提升知识和技能，到获得解决问题的技能，再到培训带来的情感体验等。比如，雷蒙德诺伊将培训效果分成了认知效果、技能效果、情感效果、绩效效果及投资回报率五个维度。斯旺森则将培训效果分成了认知效果、学习效果和绩效效果三个维度。新型职业农民作为我国特有的、比较前沿的研究群体，对其培训效果进行科学评价的研究还极少。但新型职业农民作为成人学习者，与企业员工培训一样，属于在职人员的专业发展培训。因此，现有的成人培训效果评价研究成果对不同层面探究新型职业农民培训效果评价指标体系具有一定的参考价值。目前最为有名的培训效果评价模型是美国人力资源专家唐纳德柯克帕特里克（）于 年构建的包含反应（）、学习（）、行为（）和结果（）四个层级的评价模型，简称柯氏模型。后续研究并没有在理论上完全超越柯氏模型，只是在评价范畴和评价方法上做了一些改进，可以说，后续关于职业培训效果评价模型的研究是在继承柯氏四级评价模型基础上的渐进式改进和发展。学者们通过增加层次、细化层级、区分过程性、结果性和有效性等方式，继承、批评和不断完善着柯氏四级评价模型，使其得到改进和发展。在对柯氏四级评价模型不断改进和发展的过程中，根据不同的分类标准出现了许多不同类型的评价模型，从模型演进的路径来看，后续模型主要是沿着两条研究路线发展：一条是保持柯氏四级评价模型的框架不变，通过不断细化和增加层级完善评价内容。比如 五层次评价模型、五层次投资回报率模型和 五级评价模型，他们在柯氏四级评价模型的基础上分别增加了组织效益评价、投资回报评价和社会效益评价。另一条是针对柯氏四级评价模型“终结性评价”的弊端，提出了以“过程性评价”为主的流程评价模型，如 评价模型和 评价模型。在充分考虑新型职业农民培训的特征并参考借鉴国内外相关研究的基础上，本研究将新型职业农民培训效果的测量重点确定为受训农民在接受培训之后产生的真实的感知变化，同时加入情感维度考察培训的设计和实践过程。具体而言，本研究从农民对培训的情感体验，知识和技能的掌握程度及吸收和应用程度，农民吸收应用培训所学之后对个人及乡村社会发展会产生相应作用的间接收益三个方面确定新型职业农民培训效果评价的基本框架，具体包括三个维度：培训满意度、职业素养养成度和培训成效外溢度。（）建立新型职业农民培训效果评价指标列出概念维度之后就要进行测量指标的建立，也就是将一级指标逐级细化。测量指标的建立方式有两种，一是寻找和利用已有的指标；二是通过实地观察和访谈的方式收集资料。考虑到相关研究较少且已有指标不一定适合本研究，本研究主要通过与被研究者中的关键人物进行深入访谈，从被研究者的角度、用被研究者的眼光来看待培训效果，通过了解被研究者的所思所想以及他们考虑问题的方式选取指标。研究对象与方法访谈作为人际互动中常见的基本模式，是社会研究的重要研究方法和技术，也是质性研究具体操作的契入点。本研究通过滚雪球抽样的方式选取了 位参与过生产经营型新型职业农民培训的农民作为访谈对象，受访对象的选择基于以下理由：第一，受训者作为培训消费者最有发言权，他们能根据自身真实的参训体会和感受客观地回答研究者想要了解的问题。第二，受访农民的年龄、学历、从事产业及规模、参训次数等基本信息不同，且都参加过部级、省级、市级各个层次的培训班 次以上，而且有的受访农民已经被各培训机构聘为“土专家”，既是受训者也是培训教师，有的受访农民的合作社或家庭农场被培训机构挂牌为田间学校，承担了一定的培训任务，他们有着丰富的实践经验，他们非常了解培训的组织和实施工作，他们的看法有一定的代表性。每位访谈对象的受访时间大约为 分钟，笔者边访谈边记录，并且在征得受访对象同意的基础上利用录音笔或手机对访谈内容进行录音，通过讯飞听见软件转录访谈文本。数据分析本研究的数据分析主要运用扎根理论三级编码的方法，通过对访谈资料一份份逐级编码、分类、归纳，直到没有新的概念和关系出现才停止编码，最后形成指标体系。首先是开放式编码，此阶段的主要任务是界定概念，发现范畴，形成范畴化。通过将转录的访谈资料打散，从语境、语用、主题、内容等方面发现话语结构和各部分之间的联系，赋予其概念和意义，这是一个用新的方式重新组合的操作化过程。通过这一系列打散、重新组合、赋予概念和意义的过程发现思考单位，进行设码，寻找“本土概念”。限于篇幅，本研究选取其中一个访谈片段为例说明本土化概念的编码过程（见表）。在原始资料语句中提炼出初始的本土化概念的基础上，根据各个初始的本土化概念的关系和逻辑，再将相似概念归纳成范畴化的过程。本研究最终归纳出 个相互独立的范畴。接着进行轴向编码和选择编码，这个阶段的工作主要是通过分析范畴化概念之间的时间先后顺序、表 开放式编码样表访谈片段本土化概念 一个是专家在每年的这种新的政策的解读这一块，这个也是现在搞新型农业经营主体，包括现在的家庭农场，不光是我们这种合作社，包括农业公司，它都是农业类的经营主体，搞这种的很必须要了解的一个因素（）。对于我们国家的农业的大政策环境，还是有必要去了解的东西，它就是国家给予的一些扶持或者就是给予的一些奖励，政策上的包括国家层面的，到地方层面的，他都会讲到。因为你去学习了，会发现很多你比如说符合要求，完全可以去享受到的这种激励政策。你没有去，到时候因为你不知道有这个政策没去享受到，我觉得这个比较冤枉。（）对吧？第二个是专家，包括培训老师。（）新品种新技术的解读和跟踪服务，介绍者对我们真正从事这种，特别是种植类的或者养殖类的，借鉴的意义是比较高的。（）因为专家学者，比如说农科院，我们跟农科院对接的比较紧密，他们的信息沟通渠道，肯定是更加多元化，是吧？（）我作为合作社的负责人，在我自己种好这一亩三分地的同时，反正有什么新的东西我很喜欢引进。还是要把它推广到我们的农户上面去。不管是什么产业，不管是什么行业，你整个地方的行业得不到一个均衡的发展，只有比如说一家独大或者怎么样子的话，当然对于个人来讲，他可能会赚钱（），但你像我们这种农业产业的话，你地方整体老百姓的技术跟不上，卖的价格提不上去，永远只有那几家在单打独斗的话，老百姓赚不到钱他就没有什么动力，你也不知道他也不知道，你就形成不了产业化的东西（）。比如第三个收获还有可以认识到更多的周边的我们较年轻的这些学员，那么可以大家在一起就像头脑风暴也会有一些新的东西。（）大家也至少没有代沟，沟通起来会比较无障碍。比如我们武进今年就做了一个试点，我是试点的，我们市里有两个水蜜桃班，一个葡萄糖，我是专门承担当时 位比较年轻的农户的班，（）开展了课堂培训就是理论培训和外出观摩。（）培训内容的针对性 参加培训可以学到农业政策知识 培训师资有农技专家 参与培训可以学到新技术、享受跟踪服务 参与培训可以认识专家、了解信息 应用培训所学可以提高收入 将培训所学推广，可带动周边百姓形成产业规模、共同致富 通过培训认识很多同行 培训专家有“土专家”培训形式包括理论与观摩 注：表示第 个访谈者。语义、相似、差异、因果关系等建立概念与范畴之间的关系，将范畴化概念之间的关系归纳为更高级的类属。本研究通过对 个范畴概念进行反复比对，确定了 个类属，然后将类属化概念继续归类，进行核心式 选择式编码，通过反复比对和归类，即三级编码，最终归为基本框架中的三个维度（见表）。表 范畴化概念类属化范畴（一级编码）类属（二级编码）核心类属（三级编码）培训组织培训管理培训服务培训内容培训形式培训时间培训地点培训师资接续服务参与情况参训积极性培训组织管理培训内容培训形式培训时空培训师资跟踪服务参训表现培训满意度农业专业知识和技能其他职业知识和技能创新理念生态理念对农业的新认识从农意愿增强希望子女从农市场能力信息搜集能力决策能力使用新技术 新品种 新模式研发新系统 延长产业链职业知识和技能的提升职业理念的更新职业认同感的增强职业发展能力的形成职业行为的转变职业素养养成度 续表范畴（一级编码）类属（二级编码）核心类属（三级编码）个人荣誉农场（合作社）荣誉开阔思路社会资本的拓展成本降低效率提高农民群体收入提高农民地位的提升示范带动生态效益社会责任意识的增强个人效益经济效益社会效益培训成效外溢度.新型职业农民培训效果评价指标体系的修正指标体系并不是一次性能够建立起来的，而是需要根据实际的情况进行不断地调整、修正和优化。基于访谈开发的指标可能会存在内容的重复和逻辑上的混乱，这就需要不断地对所建的评价指标体系进行对比、甄别、筛选、归类与合并，并进一步验证、优化，从而确保我们构建的新型职业农民培训效果评价指标的准确性和完整性。首先，基于专家咨询法修正新型职业农民培训效果评价指标。专家咨询法是对市场法的一种模拟，是就某一议题听取专家意见，并借助专家的知识、经验和判断能力对其进行鉴证的一种方法。专家咨询法的关键在于专家的选择，选取的专家不仅要熟悉本研究的内容还要具有一定的权威性，因此，本研究从“三农”研究领域、实证研究方法领域、培训组织者、培训教师和受训者几个方面选取了 位专家，将所列的新型职业农民培训效果评价指标当面征求专家的建议，并根据专家提出的意见修订指 表 新型职业农民培训效果评价指标体系一级指标二级指标培训满意度培训组织管理培训内容培训形式培训时空培训师资跟踪服务参训表现职业素养养成度职业理念的更新职业知识和技能的提升企业家能力的形成职业认同感的增强职业行为的转变培训成效外溢度个人效益经济效益农民地位的提升社会责任意识的增强标体系，最终得到如表 所示的新型职业农民培训效果评价指标体系。其次，基于问卷调查法修正新型职业农民培训效果评价指标。根据访谈法和专家法开发的新型职业农民培训效果评价指标体系设计题项、自编问卷，通过发放预测问卷进行项目分析和因素分析，修正新型职业农民培训效果评价指标体系。本研究在江苏省内对已经参与过生产经营型新型职业农民培训的 名农民发放预测问卷，回收有效问卷 份，问卷有效回收率为 。通过临界比值法和同质性检验进行项目分析，结果显示，所有题项在 的置信区间内的 值均大于，所有题项与总分的相关性系数均不小于 ，共同性不小于 ，因素负荷量不小于 ，这表明所有题项的鉴别度较好。通过探索性因素分析，提取变量间的共同因素，最终抽取了 个特征值大于 的因素（见表）。通过 系数检验，问卷内部一致性信度系数高于 ，说明问卷信度很好。表 新型职业农民培训效果问卷探索性因素分析旋转成分矩阵问卷题项因素共同性培训总体满意度问卷 续表问卷题项因素共同性职业素养养成度问卷 培训成效外溢度问卷 特征值 解释率 累计解释率 探索性因素分析的结果显示，“培训形式”与“培训内容”两个维度合并为一个维度；“培训师资”与“跟踪服务”两个维度合并为一个维度；“培训管理”拆成“培训组织”与“培训设施”两个维度。因此，本研究结合理论研究、专家建议和探索性因素分析结果，将培训满意度维度由原来的 个二级指标调整并重新命名为“培训组织”“培训设施与服务”“培训内容与形式”“培训师资与跟踪”“参训表现”个二级指标；职业素养养成度维度由原来的 个二级指标调整并重新命名为“职业理念的更新”“职业能力的提升”“职业认同感的增强”“职业行为的转变”个二级指标；培训成效外溢度维度由原来的 个二级指标调整并重新命名为“个人职业发展效益”“职业农民地位提升效益”“带动辐射效益”个二级指标，最终形成了如表 所示的新型职业农民培训效果评价指标体系。表 新型职业农民培训效果评价指标体系一级指标二级指标培训总体满意度培训组织培训设施与服务培训内容与形式培训师资与跟踪参训表现职业素养养成度职业理念的更新职业能力的提升职业认同感的增强职业行为的转变培训成效外溢度个人职业发展效益职业农民地位提升效益带动辐射效益.新型职业农民培训效果评价指标体系的赋权由于各个指标在评价新型职业农民培训效果时具有不同的重要性，为了准确反映每个指标的重要程度差异，就要对各级评价指标赋予权重系数。指标权重的确定方法至关重要，评价结果的可信程度在很大程度上依赖于评价指标权重确定的科学 表 新型职业农民培训效果评价指标体系权重系数一级指标权重二级指标同级权重全局权重培训总体满意度 培训组织 培训设施与服务 培训内容与形式 培训师资与跟踪 参训表现 职业素养养成度 职业理念的更新 职业能力的提升 职业认同感的增强 职业行为的转变 培训成效外溢度 个人职业发展效益 职业农民地位提升效益 带动辐射效益 性。在进行多指标综合评价时，要根据具体问题的侧重点选择不同的评价方法，充分发挥信息技术的优势，尽量使评价结果客观易懂。根据以上分析，考虑到研究目的和研究对象的特殊性，本研究在遵循评价数据的可获得性、评价程序的简便性和评价结果的客观性基础上，采用主客观结合的层次分析法确定指标权重，通过构造判断矩阵、专家打分、借助迈实 层次分析法软件计算重要性排序和一致性检验，确定新型职业农民培训效果各评价指标的权重系数，最终各级指标权重如表 所示。三、研究结论首先，新型职业农民培训效果评价指标设计既要注重即时效果又要注重延时效益。培训是教育的一种形式，教育投资不同于其他形式的投资，其效果显现通常无法立竿见影，而是在一段时间之后，尤其是当受训农民的工作内容与培训内容发生交集时才能逐渐显现，培训效果的滞后性特点及政府主导的新型职业农民培训公益性特征，要求理想的新型职业农民培训效果评价标准应是既包含即时效果指标，又包含延时效益指标的多层级指标体系。其次，新型职业农民培训效果评价指标体系包括培训满意度、职业素养养成度和培训成效外溢度 个一级指标和 个二级指标。评价指标的设计是培训效果评价的最重要环节，指标的选取体现了评价内容的科学性，制约着评价的信效度。为了构建理想的新型职业农民培训效果评价指标体系，本研究采用扎根理论三级编码方式开发了包括培训满意度、职业素养养成度和培训成效外溢度 个一级指标，培训组织、培训设施与服务、培训内容与形式、培训师资与跟踪、参训表现、职业理念的更新、职业能力的提升、职业认同感的增强、职业行为的转变、个人职业发展效益、职业农民地位提升效益、带动辐射效益 个二级指标构成的指标体系，并通过了信效度检验。再次，培训成效外溢度权重最大，职业素养养成度权重次之，培训满意度权重最小。通过构造判断矩阵、专家打分、计算重要性排序和一致性检验等流程，得出培训成效外溢度权重最大，职业素养养成度权重次之，培训满意度权重最小。新型职业农民培训效果评价指标权重表明，新型职业农民培训效果评价应该更注重培训的延时效益。【参考文献】吕莉敏 基于乡村振兴的高素质农民内涵、特征与功能研究 当代职业教育，（）：风笑天 社会调查中的问卷设计 北京：中国人民大学出版社，：徐倩 绩效评价 北京：中国标准出版社，：美雷蒙德诺伊 雇员培训与开发 徐芳，译 北京：中国人民大学出版社，：美理查德斯旺森，埃尔伍德霍尔顿三世 人力资源开发效果评估 北京：中国人民大学出版社，美 唐纳德 柯克帕特里克（），詹姆斯柯克帕特里克（）如何做好培训评估 柯氏四级评估法（第 版）林祝君，冯学东，译 北京：电子工业出版社，：李宝值，米松华，杨良山，等 职业农民培训绩效评估研究述评 浙江农业学报，（）：，：，（）：风笑天 社会调查中的问卷设计 北京：中国人民大学出版社，：丹麦斯丹纳苛费尔，斯文布林克曼 质性研究访谈 范丽恒，译 北京：世界图书出版公司，：陈向明 教育研究方法 北京：教育科学出版社，：杜栋，庞庆华，吴炎 现代综合评价方法与案例精选 北京：清华大学出版社，：，（，；，）【】，；，；，【】；（编辑 关永承）