专题教育社区评价指标体系建构的方法研究
我的图书馆
专题教育社区评价指标体系建构的方法研究
本文由《中国电化教育》杂志授权发布&作者：冯锐、董利亚、李闻摘要专题教育社区是依托国家教育资源公共服务平台创建的一个在线专题学习社区，它以学习者为核心，基于社会关系网络以活动为载体促进知识在个体与组织间生成与消费的一种学习共同体，是“互联网+”教育的一种社交型学习形态。自2014年4月建设以来，已经创建了167个有特色的在线专题教育学习社区，社区注册成员15万余人，访问量达到700余万人次等。这些社区在全国各级各类学校、广大师生中具有了广泛的社会影响力，但各社区之间建设水平参差不齐存在差距。该文运用文献研究法、目标分解法、德尔菲法、层次分析法构建了专题教育社区评价指标体系，旨在为专题教育社区建设者提升社区质量，衡量社区水平提供指导依据。该评价指标体系包括5项一级指标，38项二级指标，目前已经得到了专家的论证以及实践的验证。关键词：专题教育社区；评价指标体系；德尔菲法专题教育社区是由国家教育资源公共服务平台创建的在线专题学习社区，是推动国家教育资源公共服务平台建设和深度应用的重要工作。在教育部科技司指导下，从2014年4月起中央电化教育馆组织实施了专题教育社区建设工程，已经在国家教育资源公共服务平台上建设了167个专题教育社区，初步形成了一系列有特色的在线社交学习社区。这些专题教育社区在全国各级各类学校、广大师生中具有了广泛的社会影响力。为了确保社区的建设质量，衡量社区的建设水平，推进和强化社区的可持&续发展，需要尽快构建出一套可行的、可实用的专题教育社区的评价指标体系。评价指标体系的建立是一个系统规范的研究过程，它需要全面、系统地分析研究对象，综合分析结果，并对系统进行反复评价，直到实现预定的目标[1]。所以，专题教育社区评价指标体系的构建首先要解决的是方法问题，因为指标体系构建的方法是确保评价指标体系构建过程科学性、规范性的基础。&一、评价指标体系构建路径和方法&专题教育社区的评价指标就是根据专题教育社区的评价目标，围绕专题教育社区的本质特征确定能反映其建设水平和质量的具体评价条目。评价指标体系则是根据评价对象本身的逻辑结构，由不同层级的评价指标构成的一个有机整体。建立一套评价指标体系，必须理清研究的总体思路和脉络，这样研究过程才能明晰、有章可循，具有实际操作性，如图1所示。&&(一)确定评价对象，明确评价目标&评估对象是评价的客体，评价目标是对客体进行评价所要达到规定的标准。明确评价对象和评价目标是构建评价指标体系的首要任务，对指标体系和评价方法起决定作用，从而确定评价项目[2]。我们此次的评价对象是167个在线专题教育社区，这些社区是从2014年4月开始在国家教育资源公共服务平台上建设，现在已经注册社区成员达15万余人，根据社区目标要求开展活动2900多个，依据社区活动任务创建了3450个社区小组，创造出资源10万余条和生成文章15万余篇，社区访问量达到700余万人次等。随着这些专题教育社区在全国各级各类学校中的广泛应用，以及精品专题教育社区建设项目的推进，这些专题教育社区将成为获取优质资源，实现优质资源共享，促进师生学习和交流的重要在线支持环境。所以，这些专题教育社区的建设就是为各类学习者构建的一个知识扩散与共享的在线学习环境，并且它能够为学生开展深度学习、适应性学习以及各类实践与研究活动提供各种支持和服务[3]。找准评价对象，明确评价目标是指引评价指标体系构建过程中的重要航标，也是确保整个评估过程不偏离专题教育社区建设内涵的关键环节。因此，对评价目标及评价对象认知越充分，剖析越透彻，初拟的评价指标就会越符合预期，越接近实际。&(二)初建专题教育社区的评价指标体系&评价指标是对评价对象某一方面特性的客观准确反映。初建指标体系既要选择能反映评价对象特性的可测指标，又要初步确立各项可测指标间的相互关系，这是评价指标体系建立过程中一个非常重要的环节。初建评价指标体系时应尽量全面、准确地反映到评估目标的各个方面，并要确保初建的指标之间尽量不重复且指标指向性清晰。我们考虑到专题教育社区特有的属性，以及专题教育社区的实际建设情况，权衡评价指标体系初建的各个方法有优劣，确定采用多种方法相结合来初建专题教育社区评价指标体系。&第一，利用文献研究法梳理和明确了国内外有关虚拟社区评价、虚拟学习社区评价、虚拟学习环境评价、教师在线实践社区COP评价的维度选择主要关注于社区基本情况、社区主题、社区目标和定位、社区活动组织、社区支持服务、社区规范、技术环境、社区资源等方面。我们对这些方面进行分析和综合，抽象出在线学习社区(或虚拟学习共同体)的评价维度选择主要涉及社区基础性评价、社区核心性评价、社区组织性评价、社区管理性评价。&第二，利用文献研究法梳理清楚专题教育社区的建设目标、特点、功能和内容等，并利用目标分解法从专题教育社区的建设总目标出发，按照专题教育社区建设任务的构成进行逐层分解，即将总体目标解读为一系列一级指标，再将一级指标解析为二级指标，从上至下直到分解成可操作的末级指标为止。&第三，利用调查研究法对全国专题教育社区建设与发展进行总体分析与个案分析，总结和归纳专题教育社区建设内涵和经验，从中提炼出专题教育社区建设的关键性因素。&第四，在上述研究成果的基础上，我们利用分析和综合相结合的辩证逻辑思维方法从中抽象和初步构建了专题教育社区评价指标体系的六个评价维度：社区基本情况、社区资源管理、社区教学活动、社区技术支持、社区用户体验、社区培育与发展六个维度。另外，由于专题教育社区自身的特殊性——它在国家平台上建设而成，平台的稳定性、安全性及响应速度等与技术支持相关的要素都是既定的，是专题教育社区创建者或者说管理者无法改变的。因此，本研究在指标体系维度中舍弃了社区技术支持这一维度。然后，根据每一个一级指标的关键影响因素，确立了35个二级指标，如可以从活动评价与反思、角色分工、活动效果、活动融合性等方面去测评社区教学活动所达到的效果。&(三)遴选专题教育社区的评价指标&指标体系的建立是一个逐步优化的过程，初拟的指标体系中可能有一些指标反映的内容重复，若全部使用将过于侧重某一方面，另外指标过多也不利于实际操作[4]。这就需要优化评价指标体系，即对初拟的评价指标进行对比、甄别、筛选、归类和合并。初建专题教育社区的评价指标体系时，一般都尽可能要把建设任务的各个方面覆盖到、涉及到。所以，初拟定的评价指标尽管比较全面，但指标之间肯定相互重叠，级别之间相互交织，重要和不重要指标并存，指标的独立性和指向性比较差。因此，初拟的指标体系必须经过遴选。&指标遴选是一个非常重要的工作，一般要考虑初建指标的重要性程度、各指标间的相关性程度、各指标数据的区分度[5]。综合考虑，我们选用了德尔菲法对指标体系进行修正和遴选。&(四)设定专题教育社区评价指标的权重&指标的权重是被评估对象指标在整体中的相对重要程度以及所占比例大小的量化值。权重赋值对评价结果至关重要。若其中一个因素的权重改变了，会影响最终的评判结果。因此，权重赋值的方法至关重要。&层次分析法是确定权重赋值应用最为广泛且操作性强，比较系统、层次化的分析方法。我们运用层次分析法收集了专家依据经验同级比较两两指标重要性的数据，利用这些数据进行层级分析，最终计算出指标的权重。&(五)确定专题教育社区评价体系的评价标准&评价标准是评价指标体系的重要组成部分，它为评价者判断评价对象是否达到末级指标的程度提供衡量的尺度和准则。评价标准一般由评价内容、标度和标号三个方面构成。评价内容是评价指标达到专题教育社区建设水平和质量要求的各种程度或各种规范化行为的优劣程度。该评价标准对于评价内容采用了定性规定方式，主要通过对评价内容的达成程度或规范化行为的优劣程度进行质的规定性描述。标度是区分评价对象达到评价标准的程度。考虑到该评价指标体系主要是用于专家根据评价标准对社区建设水平和质量的判断。为此我们按照评价内容的优劣程度来确立标度，标度采用了数字表示各个等级，一共划分了6个等级(100、80、60、40、20、0)，等级的级差是20，与此相对应的序号是A、B、C、D、E、F。标号是区分程度的符号，它本身无独立意义，只是评定标准的辅助部分。&二、基于德尔菲法的评价指标遴选&德尔菲法又称专家意见法，本研究通过德尔菲法咨询了多个专家的意见，第一轮调查专家对初步草拟指标体系的意见，对初选的评价指标进行进一步筛选或补充，主要目的是确定指标体系的框架和评价指标；第二轮咨询的主要目的是进一步修正完善评价指标，收集专家对于各项指标重要性及权重设定的建议。经过多次反复操作，逐步使大部分的专家意见趋于一致，以此作为评价指标重要性评判的依据。&(一)第一轮专家咨询问卷&我们选取了27名研究和实践专题教育社区的专家进行咨询问卷调查，这些专家包括创建者、助学者、技术支持者、研究者等。首先进行第一轮专家咨询问卷调查，主要调查专家对初拟的5个维度35个二级指标的个人评判依据、重要性判断、熟悉程度判断等内容。我们利用这些方面的调查数据就可以计算专家意见权威程度和专家协调程度，这是评判指标的科学性、重要性的前提。&1.专家意见权威程度&专家意见权威程度通常是由专家对评价指标的熟悉程度和判断依据决定的。通常用专家的权威系数表示，计算公式为：&&等于二者的算术平均值。一般情况下，权威系数值越大，专家意见越有权威性，价值越高；反之亦然。一般认为，权威系数值大于或等于0.70是可接受的[6]。&判断依据由“理论分析”“实践经验”“同行了解”和“专家直觉”四个维度组成，需要专家选择对这四个维度进行判断的影响程度(大、中、小)，并对影响程度进行赋值后计算出熟悉程度主要调查专家对5个维度(一级指标)的熟悉程度，调查分为“熟悉”“较熟悉”“一般”“不太熟悉”“不熟悉”这5个级别，这5个级别分别按照0.9，0.7，0.5，0.3，0.1赋值，即=(0.9，0.7，0.5，0.3，0.1)。&根据第一轮专家咨询表中“专家权威程度自评表”计算出专家意见权威程度系数，结果如表1所示。从统计结果看，值均大于0.7。一般认为≥0.8为专家对内容选择有较大的把握度[7]。这表明参与本次咨询的专家对咨询内容熟悉，权威程度高，统计具有权威性。&&2.专家意见协调程度&专家意见协调程度主要由两个方面表示：专家意见协调系数和各指标评价结果的变异系数。&(1)专家意见协调系数&专家意见协调系数反映全部专家对所有指标的协调程度，通常是进行Kendall协调系数检验，W表示协调系数，用于多列等级变量相关程度的表示。协调系数W一般在0-1之间，越接近1表示专家的协调程度越好，反之越差[8]。第一轮咨询中全部一级指标协调系数W为0.181，协调系数的显著性检验——卡方检验的显著水平Sig值0.002小于0.05；全部二级指标专家协调系数W为0.191，协调系数的卡方检验的显著水平Sig值0.000小于0.05，如下页表2所示。这表明在95%的置信度下，专家评估一级指标和二级指标意见协调性好，结果可取。对于初拟定的一级指标和二级指标，专家意见在第一轮咨询中基本趋于一致。&&(2)变异系数&变异系数说明专家对某一指标相对重要性的波动程度或协调程度，变异系数越小表示专家建议的协调程度就越高[9]。变异系数用Vi表示，其计算公式为：&&其中，Si表示第i个指标的标准差，表示第i个指标的平均值[10]。&变异系数Vi数值由小到大递增，表示专家对指标重要性的意见分歧递增。变异系数大于0.5时，该指标将被舍去。经过统计分析，第一轮专家咨询问卷中专家对一级指标和二级指标意见的变异系数均在0.5范围之内，所以保留全部指标(各指标变异系数计算结果略)。&另外，在第一轮专家的咨询问卷中，专家们提出了诸多补充意见：建议将一级指标“社区教学活动”修改为“社区教与学活动”，并添加相应二级指标，将原有二级指标“社区主题”改为“社区名称”；“交互方式多样性”改为“成员交互”，“用户操作便捷程度”改为“用户使用便捷性”；增加3项二级指标：资源的便捷性、社区粘度、移动社区服务。&(二)第二轮专家咨询问卷&我们结合专家的补充意见和统计结果，在初拟指标的基础上进行了科学的论证，补充、筛选和修改相应的一级指标、二级指标，再次形成重要性和可行性的第二轮专家咨询问卷，并进行第二轮专家咨询问卷调查。第二轮问卷主要调查补充和修改后一级指标、二级指标的专家协调程度。为保持专家咨询的权威连贯性，我们选取了第一轮中回复有效咨询表的24位专家发放问卷，回收了21份有效问卷，有效回收率为87.5%。第二轮统计的专家意见协调系数如表3所示。统计数据表明：专家评估一级指标和二级指标的意见协调性已经高度趋于一致。&&第二轮问卷统计的变异系数如表4所示，从各指标变异系数结果分析可得出：5个一级指标的专家的变异系数已经小于0.15，这说明专家意见的分歧非常小，意见的协调程度很高。38个二级指标中，只有个人空间(0.28)、成员平等性(0.25)和成员信任度(0.26)的变异系数均大于0.25，说明专家对这三项指标还存在一定偏歧，其他指标的变异系数均低于0.25。但考虑到所有二级指标的变异系数都低于0.5，综合考虑我们仍将保留这三项指标。&&(三)第三轮专家咨询问卷&第三轮专家咨询问卷选取了同样的21位专家发放问卷，同第二轮一样再次调查了专家意见的集中程度、协调程度。第三轮回收有效专家咨询问卷20份，统计结果表明，一级指标和二级指标的专家意见协调性高度一致，各指标变异系数均低于0.2，表明专家对这些几乎不再有分歧。最终我们确立了专题教育社区评价体系的5个一级指标，38个二级指标(具体指标体系略)。第三轮专家咨询问卷运用层次分析法重点调查了专家对5个一级指标、38个二级指标同级重要性的两两判断，专家的同级指标的两两判断数据是确立专题教育社区指标体系权重的科学依据。&&三、基于层次分析法设定评价指标的权重20世纪70年代，萨蒂(T.L.Saaty)教授首次提出了层次分析法(Analytic Hierarchy Process，简称AHP)[11]。它是将评价对象视为一个系统，从系统视角对指标之间的相互关联度及隶属关系按不同层次结构进行矩阵分析，这种方法既有专家依据经验对指标重要性的定性分析，也有数据逻辑运算和统计的定量分析。&层次分析法的基本步骤为：(1)构造递阶层次结构；(2)建立判断矩阵；(3)计算被比较元素的相对权重；(4)单层次一致性检验；(5)计算二级指标相对于总目标的组合权重[12]。如图2所示。&&(一)构造递阶层次结构&我们利用德尔菲法进行了三轮专家咨询问卷，确立了专题教育社区的评价指标：一级指标5个，二级指标38个。这些指标的相互关联及隶属关系如图3所示。&&(二)建立判断矩阵&专家将对同属一个层次的指标进行两两比较，比较时要求按照如表5所示的评分标度给出它们相对重要性的判断值。当同一层级中的指标经过两两比较后，会生成一个判断矩阵A=(aij)n×n。&&经过两两判定后，专家就依据评分标度选择出重要性判断值，这样每一位专家根据一级指标和二级指标就会生成六个判断矩阵。某位专家对一级指标评判后形成的判断矩阵如表6所示。&&本轮层次分析法邀请了有效参与第二轮德尔菲法问卷的21位专家进行矩阵赋值，回收有效问卷20份。对这20份有效问卷的一级指标、二级指标根据专家的赋值经过两两判定后，总共得到120个判断矩阵。&(三)计算单层次被比较元素的相对权重&首先将上述表6这位专家评分的正互反矩阵进行化简，计算判断矩阵每一行元素的积，进行归一化处理，计算指标权重。我们按照上述方法，对上述这位专家二级指标的5个判断矩阵进行计算，就会得到这位专家二级指标判断矩阵的权重系数值，如表7所示。&&我们按照上述计算步骤分别对其他19位专家的判断矩阵的一级指标、二级指标的权重系数值进行计算(计算数值略)。&(四)单层次一致性检验&单层次一致性检验也称层次单排序(权重计算)及判断矩阵的一致性检验。因为，对于nxn正互反矩阵A=(aij)n×n，可以证明当且仅当A的主特征值λMax=n时，A是一致矩阵。但在实际中做到构建的矩阵完全一致是无法做到。因此，在计算λMax时，对于各专家的评价在逻辑上是否一致，需对判断矩阵进行一致性检验。为此我们建立了一致性检验指标C.I.和R.I.，用以判断矩阵偏离程度。将判断矩阵的一致性指标C.I.与平均随机一致性标准值R.I.[15]进行比值，求得随机一致性比率C.R.。当n=5时，R.I.的值为1.12，即&当C.R.0.1时，则认为该判断矩阵一致程度无法接受，则应该修正判断矩阵判断值，直到满足一致性检验条件。根据上述计算可得，C.R.&运用上述方法步骤，我们对20位专家打分的120个判断矩阵，用层次分析法进行单层次权重和单层次一致性检验时，发现在20位专家标度的120个判断矩阵中，有8个矩阵未通过单层次一致性检验。当判断矩阵不符合一致性要求时，需要对不合格要求的判断矩阵进行修正，调整判断矩阵的元素取值。为了确保一致性要求，我们又请对应专家对这8个矩阵再做一次判断，重新统计比较的矩阵结果，并再次对这8个矩阵的一致性进行检验。最终依据20位专家对5个一级指标和38个二级指标重要性赋值情况，经过构造矩阵计算出一级指标权重和二级指标相对于一级指标的单层次权重系数，并进行单层次一致性检验，结果显示单层次一致性C.R.&20位专家参与决策，从而同一项指标会获得多个判断矩阵。对于这些判断矩阵的处理一般有两种方案：一是将n个判断矩阵进行集结，然后再计算权重；二是将n个判断矩阵的求权结果进行加权平均。对于方案一，集结可能会严重影响合成后的判断矩阵的一致性，操作较为复杂；而方案二则不存在这一问题，同时也能极大保留各专家的原始意见[16-18]。因此，本研究中我们采取方案二进行群组决策，并得出最终的各因素权重(权重数值略)。&(五)计算二级指标相对于总目标的组合权重&为了得到二级指标相对于总目标的权重，需要把上述步骤中的权重进行适当的计算组合，其值等于各项二级指标的权重与它所属的一级指标的权重的乘积[19]，即&按照此方法，我们计算出专题教育社区评价二级指标相对于总目标的权重，如表8所示。&&随后一个环节是确定每一个二级指标的评价标准，我们从评价内容、标度和标号三个方面完成了每个二级指标的评价标准，前面专题教育社区评价指标体系构建路径部分已经对此做过详细诠释，这里不再赘述。&四、结语&专题教育社区评价指标体系制定出来以后，我们分别选取了《平安校园文化》《炎陵中小学科教研基地》和《预言家创新能力训练》三个社区进行试测，这三个社区分别代表着社区建设水平。邀请专家分别进入所选的专题教育社区进行体验与调查，然后根据评价指标体系的评分标准进行评价与评分，最后的专家评价结果是：《平安校园文化》社区是90.74；《炎陵中小学科教研基地》社区是83.56；《预言家创新能力训练》社区是64.96。这个试测结果客观真实的反映了这三个社区的建设质量。&本研究评价指标的筛选和指标权重的确定虽然严格遵循德尔菲法和层次分析法的原则和步骤实施，且结果符合统计学的要求，但也不能完全排除主、客观及其他因素的影响。为了减小专家在评价中的主观性，确保评价行为更为客观、科学，我们建议使用评价指标对专题教育社区进行评价时，参评同一社区的专家至少三人或三人以上，结果取其平均值，这样可以降低一个专家对社区评价结果的主观差异性，使评价结果更加客观、科学、合理，符合实际情况。当然，专题教育社区评价指标体系是一个不断调整和完善的过程，随着理论研究与实践探索的逐步发展，评价指标体系将会更加优化。&&本文受教育部在线教育研究中心2016年度在线教育研究基金重点项目“在线专题教育社区评价体系的构建”(项目编号：)资助。作者简介：冯锐：博士，教授，硕士生导师，研究方向为教学设计、教育信息化、学习技术。董利亚：硕士，中学二级，研究方向为网络教育应用、学习评价、信息化教学设计。李闻：在读硕士，研究方向为信息化教学设计、数字化教学资源的设计与开发、新媒体的教育应用。
TA的推荐TA的最新馆藏您的位置： >
来源：　　作者：姚韫;钱家珍;祝颖;
中学生学习方式现状问卷调查指标体系的构建　 问卷调查是收集资料的一种实证研究方法,它具有社会现象定量化研究的特征,是科学研究、社会决策和市场调查等社会行为所倚重的一种收集资料的方法。问卷调查的工具是问卷,它是在一套专业操作的基础上完成的。它的专业操作起点是首先提出一套与相关调查课题(或课题中的变量)紧密联系的指标体系,它是问卷设计的依据,也是调查课题的研究框架。一、中学生学习方式指标体系的建构逻辑指标体系是由一组具有逻辑关系的指标构成,其内在逻辑关系是通过一种演绎推理,也称操作化过程实现的。操作化过程是指对调查课题中的变量(概念的一种)进行合乎逻辑的分解过程。在这个过程中,将具有较高抽象度的变量分解为抽象度很低,甚至为零的若干指标,这些指标分别涉及变量的内涵和某些延展属性。将变量操作化理解为变量分解的过程,并不失变量操作化理论界定的基本内涵。它为进行变量操作化过程或指标体系的构建提供了更为直观的思考路径、思维模式和操作逻辑。学习方式变量的分解与其他变量的分解都具有类似的操作化过程,一般可遵循两步思考模式。第一步,对学习方式变量做出概念界定或概念理解。第二步,在学习方式变量界定基础上,将其中所包含的“类别内容”提出来,组成抽象度不(本文共计4页)　　　　　　　　　　
相关文章推荐
看看这些杂志对你有没有帮助...
单期定价：8.00元/期全年定价：6.40元/期　共38.40元
　　　　　　 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
基于Delphi专家咨询法护士长绩效评价指标体系的构建
下载积分：999
内容提示：基于Delphi专家咨询法护士长绩效评价指标体系的构建
文档格式：PDF|
浏览次数：6|
上传日期： 02:13:12|
文档星级：
全文阅读已结束，如果下载本文需要使用
 999 积分
下载此文档
该用户还上传了这些文档
基于Delphi专家咨询法护士长绩效评价指标体系的构建
官方公共微信最新公告：目前，本站已经取得了出版物经营许可证 、音像制品许可证，协助杂志社进行初步审稿、征稿工作。咨询:400-675-1600
您现在的位置：&&>>&&>>&&>>&正文
眼科护理质量评价指标体系的构建
定制原创材料,由写作老师24小时内创作完成,仅供客户你一人参考学习,无后顾之忧。发表论文
根据客户的需要,将论文发表在指定类别的期刊,只收50%定金,确定发表通过后再付余款。加入会员
申请成为本站会员,可以享受经理回访等更17项优惠服务,更可以固定你喜欢的写作老师。
［目的］构建眼科护理质量评价指标体系，为规范化的眼科专科护理质量评价奠定基础。［方法］成立研究小组，在文献查询和临床调研的基础上，采用质性访谈和量性研究相结合方法构建眼科护理质量评价指标初问卷，应用德尔菲法进行两轮专家咨询，并对咨询结果进行统计分析。［结果］形成了包含３个一级指标、１０个二级指标、３３个三级指标的眼专科护理质量评价体系；专家的积极系数为９１．１１％，权威系数０．８６５，集中程度和协调程度均较高。［结论］基于德尔菲法构建的眼专科护理质量评价体系涵盖了结构、过程、结果３个方面，形成了包含３３个子项目的三级指标体系。
眼科；护理质量；评价指标；德尔菲法
随着眼科技术的飞速发展，单病种、临床路径和日间医疗在眼科领域广泛应用，对护理工作提出了新的要求，进一步完善眼科专科护理质量评价指标体系已迫在眉睫［１］。我国目前的护理质量评价指标偏重于环节、终末指标，以管理及护理技术操作为评价重点，过多关注护理服务过程和结果，忽略了要素指标的重要性和病人的主观感受［２－３］。国内外关于眼科护理质量评价的研究较少，缺少有效、客观、针对性地突出眼科特点的护理质量评价指标［４］，尤其对眼科护理质量的评价缺乏专科、完整的指标体系。本研究以美国健康保健机构评鉴联合委员会的护理质量保证模式和Ｄｏｎａｂｅｄｉａｎ评价结构模式为理论指导，采用质性和量性相结合的方法，对眼科专科护理质量评价指标进行了筛选，构建符合我国实际的眼科护理质量评价指标体系，为更有效地提高眼科护理质量奠定基础。
１资料与方法
１．１眼科护理质量指标的拟定
１．１．１建立研究小组研究小组共４人，其中护理部主任１名，科护士长１名，护理部干事１名，计算机专业人员１名；年龄３４岁～４８岁；学历：硕士２名，本科２名；职称：副主任护师２名，主管护师１名，工程师１名，其中３名是护理专业人员，有１０年以上眼科临床工作经验，５年以上眼科护理质量管理工作经验；２人赴德国研修学习护理管理，１人赴日本、新加坡研修。
１．１．２文献查询和理论依据本研究以ＰｕｂＭｅｄ、万方数据库、维普医学网、知网等数据库为基础，并参考《三级眼科医院评审标准２０１１年版》《山西省优质护理服务评价标准汇编》《优质护理服务评价细则（２０１４版）》《ＪＣＩ标准》《眼科学（第７版）》及部分医院的护理质量评价标准。所获得的文献资料信息将作为拟定第一轮函询问卷的基础。
１．１．３临床调研对眼科临床一线护理内容的调查、分析与描述是质量指标建立的基础。按照病人入院→术前准备→手术→术后护理→出院等围术期护理流程，根据国外护理质量评价指标的高量性、高危险性、高问题倾向性及高成本性和国内护理质量评价指标，突出科学性、重要性、有效性、特异性、灵敏性、独立性、可行性或可操作性、简明性，定义眼科护理质量评价指标。
１．１．４质性访谈采用目的抽样法，样本量以信息饱和且不再有新的问题出现为准，选择山西省眼科医院１０个临床科室的２１名护士长、２０名眼科护理骨干进行访谈，了解眼科临床护士对护理质量考评的意见和建议，并以护理质量考评存在的问题分析现行护理质量指标的不足之处，明确护士实际需求，为进一步研究奠定基础。在前期调研的基础上，选择１０名护理质控专家召开专家会议，以头脑风暴形式开展，罗列眼科护理质量相关因素，讨论指标的科学性及对临床护理工作的指导性，区分出重要、次要和需要删除或修改的指标。形成了以结构－过程－结果为构架的指标体系，其中结构指标包括对人、财、物、环境的管理，是支持系统，过程指标着重强调病人围术期管理，结果指标通过对不良事件及满意度的监控，反映管理效果。访谈提纲为：①这套指标能否反映眼科护理质量？②哪些指标比较重要？哪些指标比较次要？哪些指标可以删除？③哪些指标反映护理质量不够科学，应如何改进？④哪些指标临床不易提取？⑤哪些指标存在着相互重叠、相互包含交叉，可以进行合并？会后整理讨论记录，总结专家对眼科护理质量评价指标的意见。
１．２应用德尔菲法筛选眼科护理质量指标
１．２．１专家函询问卷及其调查方法研究小组设计眼科护理质量指标专家咨询问卷，包括致专家信、专家咨询表、专家自评表３部分，根据本研究实际需求，遵循代表性和权威性相结合的原则，选取山西、北京、天津、河北、上海、四川、广东等地的３０名眼科医生、眼科护理专家、护理管理专家为函询对象，发放问卷，１周内收回，根据专家意见和小组讨论修改第１轮问卷，形成第２轮问卷调查表，４周后发放第２轮问卷，１周后收回。
１．２．２专家的纳入标准Ｄｅｌｐｈｉ专家调查问卷法的关键在于如何选择恰当的调查专家。本研究所纳入的专家均具有眼科护理管理经验，具体纳入标准为：①本科及以上学历，中级职称以上（含中级职称）；②眼科临床管理１０年以上，眼科临床护理工作５年以上，眼科护理管理工作１０年以上；③专家同意填写函询问卷。
１．２．３专家基本情况第１轮专家１４人，第２轮专家２７人。专家的基本情况见表１。
１．３统计学处理对回收的问卷进行归纳、整理。调查结果应用ＳＰＳＳ１８．０统计软件进行数据的录入、整理和分析，采用离散趋势法、相关系数法和克朗巴赫系数、变异系数、肯德尔系数等进行统计描述和分析。
２．１专家的积极性专家的积极性用积极系数来表现，积极系数以问卷有效回收率表示，问卷条目回答缺失２０％以上视为无效问卷［５］。第１轮发放问卷１５份，回收有效问卷１４份，专家积极系数为９３．３３％。第２轮发放问卷３０份，回收有效问卷２７份，专家积极系数为９０．００％。本研究专家积极系数平均为９１．１１％，说明专家的积极性较高。
２．２专家权威程度专家权威程度由两个因素决定，一是专家对问卷内容作出判断的依据，二是专家对问题的熟悉程度，两者的算数均数即为专家权威系数。判断依据及其赋值如表２所示［６］，熟悉程度分为很熟悉、熟悉、一般熟悉、不熟悉以及很不熟悉，分别赋值１．０分、０．８分、０．６分、０．４分、０．２分。本研究采用专家对整个问卷进行判断依据和熟悉程度评价。第１轮判断依据得分０．９２，熟悉程度得分０．８３，故权威系数为０．８７５；第２轮判断依据得分０．９１，熟悉程度得分０．８２，权威系数为０．８６５。两轮均大于０．７［７］，说明专家的权威系数较高。
２．３专家意见集中程度利用问卷条目满分人数、满分比以及条目重要性评分的均数３个指标反映专家意见集中程度。专家满意度分为５个等级，包括很重要、比较重要、一般重要、不太重要以及不重要，分别赋值５分、４分、３分、２分、１分。本研究专家对指标的重要性均数在４．２６～４．８９之间，均大于０．３５，说明专家认可度较高，见表３。
２．４专家意见协调程度利用变异系数和肯德尔协调系数两个指标反映专家的协调程度。变异系数越小表示专家意见分歧越小，协调程度越好，一般要求各条目变异系数小于０．２５；肯德尔系数取值范围为０～１，系数越大，协调程度越好。本问卷指标变异系数在０．００～０．１７之间，均小于０．２５，肯德尔系数为０．３１４（χ２＝３３１．８６７，Ｐ＜０．００１），波动在０．３～０．５之间，说明专家意见协调程度较高。结果见表３。
２．５形成的眼科专科护理质量评价指标体系第１轮函询问卷经统计、分析，采纳专家意见，共删除２项指标，调整２项指标，第２轮函询，删除１项指标，最终形成包含３个一级指标、１０个二级指标、３３个三级指标在内的眼专科护理质量评价指标体系，具体见表３。
３．１构建眼科专科护理质量评价指标体系的意义构建眼科护理质量评价指标体系，将有助于促进眼科护理服务的规范化和标准化，促进眼科护理质量的持续改进，同时，由于国内各家医院护理质量指标存在“信息孤岛”现象，未做到资源共享，本指标体系的构建，可为建立眼科护理质量敏感指标数据库提供借鉴。
３．２结果的可靠性分析本研究第１轮的问卷回收率为９３．３３％，第２轮回收率为９０．００％，可以看出，本研究专家的积极性较高。另外两轮提出意见的专家比例分别为６４．２９％和２５．９３％，说明专家对本研究颇为关注。第二轮提出建议的专家比例减少也同时表示专家意见趋于一致。两轮咨询专家的权威系数均≥０．７，说明专家的权威程度较高，对本研究问题的把握性较大，结果可靠性好。本研究所选３０名专家来自包括眼科医疗管理专家、临床护理管理专家、行政部门护理管理专家、护理质量管理专家领域，遍及我国北京、天津、上海、河北、四川、广东、山西等一线二线城市及山西各地、市，医院级别从二级甲等、三级乙等到三级甲等，既有综合医院，也有眼科专科医院，在本领域有丰富的经验和较高的学术造诣。函询专家数量符合Ｄｅｌｐｈｉ技术一般专家人数１５人～３０人的要求。第１轮函询中有专家提出眼科护理技术考核合格率应归为过程指标，护理人员满意度应归为结构指标。根据Ｄｏｎａｂｅｄｉａｎ理论［８］，结构、过程和结果３个呈线性关系，过程将对结果产生影响。眼科医疗管理专家认为，过程指标强调服务内容和服务给予方式，护士在提供护理服务中的工作满意情况都将直接影响服务的给予方式。要使病人能够获得较好水平的优质护理服务，医院管理者首先应该关注护士这一服务群体，因为只有护士工作积极性提高了，才可能去关注病人的需求，为病人的现实利益着想，提高病人满意度。同时，眼科护理操作技术作为服务内容之一，其合格率会直接影响护理质量，从而影响病人的满意度。所以，经小组讨论，采纳专家意见，将护士满意度从结果指标中删除，列入结构指标，眼科护理技术考核合格率从结构指标中删除，列入过程指标。有专家提出，结果指标中“年护理质量持续改进效果评价”这项指标特异性不强，质量持续改进效果可以是病人满意度的改变，也可以是不良事件发生率的改变，但结合三级甲等医院评审评价要求，经小组讨论，保留“年护理质量持续改进效果评价”这项指标。有专家建议删除或修改“日均护理时数”这项指标。美国护理质量指标国家数据库（ＮＤＮＱＩ）在２０１４年甄选出的１８项护理质量敏感指标中，将病人日均护理时数列入结构指标。但专家认为，该数据收集要依赖强大的信息平台，目前国内医院难以获取，所以采纳专家意见，删除过程指标中的“日均护理时数”这项指标。这与Ｍｉｎｎｉｃｋ等［９－１０］的观点一致。根据统计学结果，综合专家建议，建议删除眼科手术部位感染和护士工作中与相关科室协作，保留其他项目。而且，我国目前关于医院感染与护理质量之间关系研究较少，尚未有明确的相关研究结论证实这一点，其准确性和科学性在国内还有待进一步研究，其计算方法也需进一步咨询医院感染方面的专家［８］。
３．３本研究评价指标的全面性本研究在设置护理质量评价指标的过程中综合了以下几方面［１１］：①关注病人的生理、心理、情感和精神的全面需求；②以解决病人的实际问题为原则，终末质量的评价重视从病人角度评价得到的护理效果与质量［１２］；③注重护理质量的客观指标评价。例如，增加病人对就医环境的满意度、对护士服务的满意度、对基础护理质量的满意度、对专业技能和健康教育的满意度，在健康教育的满意度中，除了对相关疾病知识的健康教育外，更强调了对病人的情感支持［１３］。眼科护理专家在质量控制方面更多考虑眼科病人的感知改变、心理护理问题及病人自我评价因素［４］。眼科医疗管理专家指出，眼科病人因其感知改变，护理工作开展更应注重人文关怀，护士和病人积极有效的沟通交流，通过护理人员真诚的关爱、有效的心理支持可帮助病人达到全面的康复［８］。因此，本研究在眼科护理质量评价指标的设置过程中增加了对病人情感支持的满意度。Ｄｏｎａｂｅｄｉｏｎ等于１９８８年所提出，将病人满意度定义为“病人对护理质量的各个方面，尤其是对于护理过程中人际关系的评价”［１４］也证明了这一点。Ｍｒａｙｙａｎ于２００６年对于病人满意度提出了一个具有可操作性的概念，即“在护理的技巧、技术含量、物理环境、护理的可用性、持续性和护理的疗效等方面与病人期望的一致程度”［１４］，同时，眼科病人感知的改变决定了其对物理－环境因素／组织、周围环境／护理环境／对技术的品质／能力／熟练程度［１４］有了更高层次的要求。因此，本研究增加了眼科病人对就医环境和专业技能的满意度。病人的满意度高低不仅与本研究中提到的就医环境、情感支持、健康教育和专业技能等有关系，还与病人的人口统计学等有关，包括年龄、性别、婚姻状况及教育情况、文化背景、先前的医疗经验、环境资源（即保险公司、雇主、政府或其他机构对医疗费用的支持程度）、病人的个人因素，如内在动机、认知评价和情感反应等有关系，所以，病人的满意度高低并不能完全反映护理质量的好坏，但是，能够通过对护理满意度相关维度的控制和改进，不断提高病人满意度。
３．４本研究专科特异性指标分析在本研究中，一级指标护理安全下设６个与眼科护理安全相关的二级指标。我院对２０１０年―２０１５年护理不良事件进行分析，结果显示用药错误（滴眼药）以６３．６％的百分比高居首位。滴眼药是眼科最主要也是较为常见的一项操作，操作虽然简单，但每次同种眼药及多种眼药不同时间段滴入，不同眼药眼别不同以及多种眼药水外包装相似，不同眼别散瞳和缩瞳药物的使用，眼科病人住院周期短、流动快，病人量较大等导致护士工作量较大，重复工作较多，易导致护士惯性工作的发生，这些眼科工作的特点都是用药错误发生率较高的因素，所以，本研究增加用药错误这项指标来客观地反映护理工作的质量。跌倒／坠床发生率位居第二，眼科病人均存在不同程度的视力障碍，如白内障、弱视等，且白内障老年病人居多，多数病人有基础疾病如高血压、糖尿病等。眼科检查大多在暗室进行，瞳孔缩小或扩大导致视物不清，很多病人单眼／双眼纱布遮盖等等眼科的特点决定了跌倒／坠床是眼科病人高发的不良事件之一。无论是眼科用药还是手术，标识的准确性直接反映护理工作的质量，且是眼科护理工作中的一项特异性指标。红眼病等眼病的医院感染发生率与护士规范化操作及健康教育、监督措施等是否到位呈正相关。所以，以上指标均能反映眼科护理工作质量。
３．５本研究的前瞻性数据是质量评价的外在表达，科学系统的数据收集、统计、分析平台能够为护理质量指标的动态监测提供有力的质量追踪证据，能够发现护理质量管理中的薄弱环节和优势领域，从而为质量指标的合理组合配置提供基础研究［１５］。护理需要迈向科学、量化、数据化的质量促进模式［１６］。随着近年来医疗信息化建设的发展以及护理信息系统的搭建与逐步完善，使得通过客观指标对临床护理质量进行评价成为可能［１７］。所以，本研究在结构指标中列入护理管理电子化信息系统。正如陈腊年［１８］提出的，信息化应用于质量控制可缩短质控时间、提高准确性与针对性、数据真实可信、实现实时控制、具备可衡量性。３．６本研究的不足和展望Ｄｏｎａｂｅｄｉａｎ［１９］指出，结构质量是质量评价中不可或缺的组成部分，它直接影响着医疗实践的类型及其实施情况，只有系统化的结构维度才能支撑起运作良好的医疗护理体系。Ｍａｃ－ｓｔｒａｖｉｃ［２０］认为，目前结构质量控制在实践中面临的最大挑战是财政支持，因资本的投入及其运作需要医疗契机。同时，虽然欧美国家的日间医疗已发展成熟，但国内的日间医疗尚处于起步阶段，很多医院尚未开展日间医疗，专家对国内日间医疗模式尚处于摸索阶段，所以，随着日间医疗在国内眼科界的开展，引入眼科日间医疗护理质量评价指标将成为今后一段时间内的重要任务。随着国内医改浪潮，医师多点执业和分级诊疗、医保支付方式等的改革，日间医疗的开展，赋予了护理工作新的内涵，如延续护理等，所以，眼科护理质量指标也将随之赋予新的内容，在今后的工作中需要不断探索和更新。４小结本研究在查阅国内外相关文献和专家咨询的前提下，采用质性与量性研究的方法，基于德尔菲法研究方法，构建了包括３个一级指标、１０个二级指标、３３个三级指标的眼专科护理质量评价指标体系。该体系的构建和应用，将有效地推动眼专科护理质量的规范化管理，但质量评价指标不是一成不变的，而是动态的，需要在实践中不断完善和发展，才能保持其对质量状态的灵敏性和实效性。
参考文献：
［１］刘敏杰，张兰凤，叶S，等．结构－过程－结果模式在护理质量评价中的应用进展［Ｊ］．中华护理杂志，２０１３，４８（４）：３７１－３７４．
［２］陈S，郭欣，田梅梅，等．医院护理质量关键指标筛选及评价的研究现状［Ｊ］．中华护理杂志，２０１４，４９（３）：３２９－３３２．
［３］关欣，王蕾，戴雪松，等．基于结构－过程－结果评价模式护理质量评价体系的构建［Ｊ］．中华现代护理杂志，２０１５，２１（２０）：２３６５－２３６８．
［４］史静华，郭丽霞．眼科护理质量评价体系研究进展［Ｊ］．护理研究，２０１４，２８（７Ａ）：２３０５－２３０７．
作者：张书平，史静华 郭丽霞 李亚琴 刘燕 刘璐 单位：山西省眼科医院
眼科护理质量评价指标体系的构建责任编辑：杨雪&&&&阅读：人次
上一篇论文： 下一篇论文：
按栏目筛选
评价指标体系论文热门范文
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
评价指标体系论文相关文章}