您现在的位置:首页 > 教育研究 > 论文分享
教育测评论文丨区域教育质量监测数据可视化的探索与实践
发布时间:2023-09-20 15:48:06

 

*基金项目:江苏省教育科学“十三五”规划重点自筹课题“基于监测大数据的区域教育质量提升路径研究”(E-b/2020/16) 


文章授权转自:《中国教育信息化》2022年第8期

说明:因杂志为黑白印刷,无法区分不同颜色,故本次推 送的文稿与杂志原文在图片色彩和说明上有所差异

 

 

作者:罗强

苏州市教育质量监测中心主任

 

 

作者:冯杰 

苏州市教育质量监测中心 助理研究员

 

摘  要:在教育大数据时代,数据可视化作为教育数据呈现的重要手段,能清晰直观地呈现教育规律和结论。苏州市教育质量监测中心积极探索并应用数据可视化技术,开发了图表集成系统、报告生成系统、大数据展示系统等一系列智能系统,实现对多维数据的呈现、动态追踪、横向比较、问题预警等功能,并通过在苏州市教育质量监测工作中的实践应用,发现教育教学过程中存在的问题,为改进教育教学以及教育部门决策提供依据。最后,提出未来可进一步优化和完善的三个方面:优化大数据展示平台,满足用户使用需求;封装图表生成代码,降低用户使用门槛;设计Web动态图表,增加图表间的交互功能。

关键词:数据可视化,ECharts技术,智能系统,可视化图表

一、实践背景

 

随着信息技术在教育领域的不断应用,人类生产和获取教育数据的能力增长迅猛,各类教育数据的获取已经变的越来越方便快捷。如何在海量的教育大数据中找到有用的信息、如何根据这些数据来发现问题、得出有价值的规律和结论?如何通过数据可视化帮助数据受众更好的理解数据的内涵,服务于学校教育质量提升以及教育行政决策?这些都是数据时代迫切需要解决的问题。

对于数据可视化(data visualization),目前对它的定义基本一致,是指利用计算机图形学和图像处理技术,通过一定的方式和方法,将抽象的数据转换成图形或图像在屏幕上显示出来,并进行交互处理的理论、方法和技术。[1-3]

对数据进行可视化处理,需要经过获取、分析、过滤、挖掘、表述、修饰与交互等流程,同时兼顾美学呈现形式与功能的需要,体现直观化、关联化、艺术化和交互性特征。[4]数据可视化能将抽象的数据通过适合的图表表达的更加清晰直观,还可以在图表中突出需要关注的数据,能够更快能精准的抓住数据的重点。

此外,数据面向的受众大都不具备专业的数据知识,可视化的形式有助于降低读懂数据的门槛。中国人民大学彭兰教授认为,在这个数据爆炸的时代,需要的是对数据更明晰的呈现、更准确的分析和更深层的解读,她认为,信息图表在此背景下开始扮演越来越重要的角色。[5]而信息图表的生成要借助计算机技术,目前在各领域应用比较广泛的是基于ECharts[2]、HTML[6]或者Python[7][8]等来实现数据可视化。

在质量监测领域,运用可视化技术来呈现数据的实践一直在进行。国家义务教育质量监测基于个性化数据挖掘开发了大规模数据分析模型与方法,对真实数据与分析结果进行及时有效的呈现。采用多维动态、交互并结合地理空间信息的三维结构可视化技术,直观地反映我国教育质量与教育公平现状。[9]

苏州市教育质量监测中心为了更好地呈现数据,积极探索并应用数据可视化技术,利用基于ECharts(一款基于JavaScript的数据可视化图表库)对教育数据进行可视化,并通过智能技术平台,实现对多维数据的呈现、动态追踪、横向比较以及问题预警等功能,通过对苏州市教育质量的全面诊断,发现教育教学过程中存在的问题,为苏州市及各区域、各学校改进教育教学、为教育部门决策提供依据。

 

二、区域学业质量监测的运行流程

 

苏州市教育质量监测中心(以下简称“监测中心”)是在国家深入推进教育管办评分离,构建督政、督学、评估监测三位一体教育督导体系,促进教育治理体系和治理能力现代化的大背景下,于2014年9月正式挂牌成立的江苏省首个独立建制的地市级教育质量监测中心,主要负责组织实施全市各级各类教育质量监测工作,指导各市、区及基层学校开展教育质量监测工作,构建基于大数据的苏州市教育质量评估监测体系。

2015年9月,监测中心启动了义务教育学业质量监测,之后持续开展面向全市初中学生的连续追踪监测,至2021年,已累计参测学生超过160万人次,针对苏州市各县市区和各初中学校累计发放10000余份监测结果报告,包括《主报告》《学科数据报告》《学生相关因素报告》和《教师相关因素报告》。从2018年起,为全市所有小学提供《监测结果追踪反馈报告》,从2020年起,为集团化办学的学校提供《集团化报告》。

苏州市义务教育学业质量监测严格按照标准化流程和相关规范要求进行,前后历时11个月,历经监测实施方案拟定、监测指标研制、监测工具研发、多轮预试与修订、监测数据分析、监测报告撰写等过程。重点环节包括“工具研发、组织实施、数据采集、数据分析、数据呈现、结果运用”,这六个环节构成了苏州市义务教育学业质量监测的运行闭环。

 

三、区域学业质量监测的结果呈现

 

经过数据清理、工具质量分析和数据计算等模块的数据分析加工后,监测中心通过报告生成系统和大数据展示系统这两个智能化系统,进行监测报告批量生成和图表封装,支撑监测数据的可视化和快速呈现。

(一)

监测报告生成系统批量生成各类监测报告

在监测报告生成的前端,监测中心开发了图表集成系统,辅助监测报告撰写时对各类数据图表进行审校,确保数据和图表的准确性。数据分析加工后的所有图表都会存在图表集成系统中,只要用检索的方式就能查到相对应的数据。当报告审校人在审校某个学校数据时,如果需要与区域或者苏州市的数据进行对比,或者与去年的数据进行对比,只需要利用图表集成系统调取相关数据图表进行对比,就能发现数据是否正确。此外,图表集成系统还支持在线撰写功能,可以辅助各区域、集团综合分析报告的在线撰写。

在对数据和图表进行审校完之后,依托监测报告生成系统,批量生成初中、小学两个学段,市、区、校三级,主报告、学科数据报告、相关因素报告、集团化报告等各类监测报告。

主报告的阅读对象为区域领导、分管校长和年级组长,主要呈现区域、学校层面的基本信息、基本情况;学科数据报告的阅读对象为区教研员、教研组长、备课组长,主要分学科呈现学科发展状况;相关因素报告的阅读对象为分管校长、学生处和年级部领导,主要呈现学生和教师的相关因素发展状况;集团化报告的阅读对象是集团化办学学校的总校长、分管校长和年级组长,主要呈现本集团的基本信息和基本情况。2021年,监测中心完成报告模板41份,通过报告生成系统,批量生成两个学段、三个层级、七种类型的基础数据报告3647份。

(二)

大数据展示系统提供线上监测大数据展示

该系统呈现的内容包括反映苏州市、区域和学校层面的参测基本信息的导航地图,以及学业水平、学业增值、学生相关因素(含阈值预警)、教师相关因素四个维度,从四个维度中精选与学业生态密切相关的24个关键指标,构成了以学生学业发展为核心的、具有“结构意义”的教育生态健康图谱,并以指数化的方式呈现数据,为区域和学校的教育生态提供多维度、立体化、多层次的数字画像。

如图1所示的苏州市学业质量监测大数据展示平台分“对象切换、导航地图、学业水平、学业增值、阈值预警、学生相关因素、教师相关因素和健康图谱”八个板块,具体如下:

图1  苏州市义务教育学业质量监测大数据展示平台示意图

“对象切换”板块主要的作用的切换学段、年份和年级的数据显示;“导航地图”的主要作用为支持切换苏州市、区域和学校三个层面的数据显示;“学业水平”主要呈现苏州市、各区域和各学校的语文、数学、英语、科学学科的百分等级,且支持2018年到2020年各科百分等级的追踪呈现;“学业增值”主要呈现各区域和各学校的语文、数学、英语、科学学科的各年百分等级的增值数据;“阈值预警”呈现教育部五项管理中涉及的近视率、睡眠时间和作业时间,将苏州市、各区域和各学校的数据与标准进行比较,以此来实现预警功能;“学生相关因素”和“教师相关因素”呈现了主要的八个指标,且支持2018年到2020年各维度得分的追踪呈现,指标的选取突出典型性、多维性、发展性和动态性,以此来评价学生和教师的生态健康状况;“健康图谱”部分呈现了本年度各区域和各学校的初一、初二、初三年级学生的学业水平、学业增值、学生相关因素和教师相关因素的等级状况,并用不同颜色以及颜色的深浅来分级显示,能够对苏州市或某区域或某学校各年的教育生态进行比较全面的数据化描述。

该平台对区域和学校的教育生态健康进行了纵向全过程、横向全要素的一体化呈现,可以精准描绘高质重负、低质轻负、高质低压、低质高压等不同类型学校的特征画像,实现监测大数据的多维、动态和结构化展示,实现对区域和学校的教育生态的“健康体检”和“数字诊断”。

 

四、区域学业质量监测的数据可视化探索

 

苏州监测数据量大,涉及各种数据类型,数据意义、关系复杂程度高,且报告类型丰富多样,为了让区域和学校在阅读报告时能够快捷准确的理解和使用数据,降低获取关键数据和信息的专业要求,监测中心开展了监测数据可视化的研究探索与创新实践。特别是在监测报告撰写过程中,监测中心运用了一系列监测数据可视化策略,研制了各种直观易懂的可视化图表,为监测数据结果的反馈与应用提供了便捷高效的支撑。

(一)

通过图表合一方式精准刻画学业发展状况

监测中心的监测报告在提供基础数据表的同时,大量采用圆点图、柱形图、折线图等可视化图表来刻画区域或学校各项数据在连续几年间的发展情况,直观地展示不同维度的增值,并用图表合一方式帮助教师加深对抽象数据的理解。

监测中心在等值计算的基础上,用百分等级来描述学生各科的学业表现。百分等级是测量学中应用最广的表示测试分数的方法之一。一个测试分数的百分等级是指在常模样本中低于这个分数的人数的百分比。因此,百分等级85表示在常模样本中有85%的人比这个分数要低。换句话说,百分等级指的是个体在常模群体中所处的位置,百分等级越低,个体所处的位置越低。

如图2所示,监测中心用百分等级圆点图表示某区域某年级各学校学生的各科百分等级。横坐标代表学科,纵坐标代表各科的百分等级。横向选择同一种颜色的圆点位置高低,可以比较该区域同一所学校学生在各学科上的表现情况,如果某学校某学科的圆点位置相对较高,即表明百分等级相对较大,说明该校学生在该学科上表现相对较好;纵向选择同一学科上不同颜色的圆点,可以比较该区域各学校在学科学业水平上的高低情况。

图2  某区域某年级各校学生的各科百分等级圆点图(部分学校)

(二)

运用不同的颜色和数据等级构建教育生态健康图谱

颜色是一种信息表现方式,在图表中恰当的使用颜色有助于吸引用户的关注,并表达对数据的价值判断。监测中心将苏州市教育生态健康指标体系中的24个关键指标全部进行指数化加工,首先将全市所有学校各维度得分作为总体,分别由低到高划分成9个水平来描述各个学校在各维度上的指数得分,9个水平占比分别为4%、7%、12%、17%、20%、17%、12%、7%、4%。9个水平分别着色,分别用1-9来进行表示,1代表深红,9代表深绿。红色越深表明区域/学校在某指标上表现越弱,绿色越深表明区域/学校在某指标上表现越好,如图3所示。

图3  教育生态健康指数分布示例图

这种将指数的可视化表达可以刻画区域和学校学业生态的典型特征,呈现区域和学校学业生态结构的均衡与共生情况,帮助区域和学校找准自己的位置,了解自身学业生态的发展态势。如图4所示,某区域初中三个年级的教育生态健康图谱中,不同的颜色和指数对该区域的各个维度给出了直观的预警或肯定(呈现了各维度的水平及对应的颜色),方便管理人员在与基准数据的比较中研读数据、发现差异、诊断问题和自主改进。

图4  某区域初中三个年级教育生态健康图谱(学生数据)

(三)

照标尺和常模直观呈现多维过程数据的意义

监测中心通过学校各学科学业水平百分等级的横向对比以及各学校同学科的纵向对比,明确本校各学科的优势与不足。此外,为了让各校更清楚自己在苏州市或者本区域内的相对水平,通过提供苏州市的常模呈现出本校在苏州市或者本区域内的相对位置。

如图5所示,用百分等级标尺图反映了某区域某年级学生各科的百分等级,图中不同颜色的图形代表不同学科的百分等级,右侧图中的竖线代表苏州市的平均百分等级50。与百分等级圆点图不同的是,该图不但可以清晰的表达某校各科学业水平与苏州市平均水平的大小,还能呈现该校各科学业水平发展的均衡情况。

图5  某区域某年级各校学生的各科百分等级标尺图(部分学校)

相关因素各维度得分经过标准化处理后转换成T分数,使得各维度在同一量纲上,实现维度间可比。如图6所示,报告中我们通过自己命名的“地形图”展示了某区域2018级学生相关因素三级维度三年的得分情况。其中,5分代表的直线表示苏州市平均得分,淡色区域最左边的点代表的是所有区域的最低值,淡色区域最右边的点代表的是所有区域的最高值。一方面通过给全市最低值和最高值分别上色,使对比更加鲜明,可以清晰的看出本区域的某个相关因素维度在苏州市中的相对位置;另一方面通过对同一维度的三年追踪,呈现该区域在该维度上三年的发展情况。

图6  某区域2018级学生相关因素各三级指标三年得分情况(局部)

数据受众通过“地形图”可以清晰的看出本区域在相关因素三级维度上与苏州市均值的差异情况,且通过T分数呈现能够看出相对差异的大小。在此基础上,监测中心通过自己命名的“地铁图”来直观呈现每个区域在相关因素各二级维度在苏州市所有区域内的排序情况,圆圈中的数字即表示各二级维度得分在各区域得分中由高到低进行的排序,能够让区域管理人员清晰直观地看到本区域在苏州市中的排序情况,如图7所示。

图7  某区域当年2018级学生相关因素各二级指标得分排序情况(局部)

(四)

提供完整的数据标准帮助阅读者理解数据含义

除了对各类数据进行可视化呈现之外,监测中心还对不同维度的数据按照一定的规则划定理解数据意义的标准,数据受众可以依据数据标准理解本区域、本校相关数据的意义。

如表1所示,该表首先呈现了某区域各校各学科百分等级的增值情况,然后把所有学校增值按照数据大小分别由低到高划分成7个水平,7个水平占比分别为5%、10%、10%、50%、10%、10%、5%,并用不同的颜色表示,进而进行分级预警。红色越深表明在所有学校中的排名越靠后,绿色越深表明在所有学校中的排名越靠前。在表格最下方的注释中,对不同颜色在总体中所处的位置分别给出了占比的数据标准。数据受众可通过数据的大小和颜色就能快速理解该数据在苏州市总体数据中所处的位置。

表1  本区域2018级各校各科百分等级年度增值情况表(部分学校)

(五)

构建更加精细的结构性数据描绘学业水平

除了用百分等级来整体描述各区域和学校的学业水平外,监测中心还采用四水平分布图和箱型图来刻画学生学业水平的分布情况和离散情况。

如表2所示,将苏州市学生学科成绩由高到低按照0-25%、25%-50%、50%-75%、75%-100%分成Ⅳ、Ⅲ、Ⅱ、Ⅰ四个水平,在图中将各水平人数占比用长方形长度来表示,并从右至左依次排列,人数占比累计百分比为100%。通过表2,学校可看到本校各学科各水平学生在苏州市的分布情况以及年度间的变化情况,在一定程度能够了解本校学业水平质量的变化主要是由于哪个水平的人数变化引起的。

表2  某校2018级学生四水平分布三年追踪情况

如图8所示,箱型图最左边的竖线为5%分位点,表示群体内有95%的学生高于此线所对应的分值;中间长方形左边的竖线为25%分位点,表示群体内有75%的学生高于此线所对应的分值;中间长方形中间的竖线为该校的均值;中间长方形右边的竖线为75%分位点,表示群体内有25%的学生高于此线所对应的分值;箱型图最右边的竖线为95%分位点,表示群体内有5%的学生高于此线所对应的分值。

通过整个箱形图的长短,能够反映出该校去除两端后的90%学生的成绩分布情况,通过中间箱体的长短,能够反映出该校中间50%学生的成绩分布情况,以此来体现出学生在某门学科上的离散情况。此外,用不同的图案和颜色表示不同的年级,通过纵向比较,可以看出学生某门学科三年内的离散变化情况。

图8  某校2019级学生某学科箱形图分布三年追踪情况

 

五、总结和展望

在大数据时代,获取数据、分析数据和呈现数据是开展数据研究的三个重要的环节,而数据可视化是呈现数据的主要方式。监测中心在数据可视化上做了诸多探索,开发了监测报告生成系统(包括图表集成系统)和监测大数据展示系统,又基于ECahrts开发了各类图表,这些图表不同于Office、WPS等办公软件生成的柱状图、折线图等,形式多样,清晰直观,包含更多的数据信息。此外在图表中,用不同颜色区分年级、学校、学科以及对部分数据进行预警,基本实现了报告使用者对监测数据可视化的需求。

对多维监测数据动态追踪、横向比较的可视化表达,可以提升监测数据的问题诊断和预警等功能,让区域和学校能够更加直观地了解自己的教育生态,精准诊断问题所在,开展针对性的靶向改进和自我完善。数据可视化作为一种需要不断探索创新的新技术,未来在以下方面还可进一步优化和完善:

(一)

优化大数据展示平台,满足用户使用需求

目前的监测大数据展示系统1.0可通过界面按钮切换年份、年级、区域和学科等,以此呈现不同层级的数据,但仅限于数据的可视化呈现,用户无法对呈现的图表数据进行进一步操作,比如对图表进行缩放、个别数据的选择和突出显示等。

此外,各个层面、各个模块图表之间的交互路径不够明确,用户的学习成本相对较高,有时用户进入该系统之后不知道要点哪里来获取自己需要的数据,也不知道自己能获取到什么数据。因此,在后续的研发过程中,可优化各模块之间的交互路径,增加图表的过滤、缩放、突出显示等交互功能,尝试构建关键指标下钻模式、详情说明模式和多图表构成模式等交互模式,更加贴合用户使用习惯,满足用户使用需求。

(二)

封装图表生成代码,降低用户使用门槛

通过ECharts技术来实现数据可视化有两个明显的优势,即数据图表代码开源,且数据图表类型丰富。但是如果要实现对图表样式和数据进行重新编辑和修改,则对用户要求较高,不像常用的办公软件只要有了数据就能插入对应的图表,没有计算机编程基础的用户没有办法对这些基于ECharts生成的图表进行个性化修改。因此,为了降低这些图表使用的门槛,有必要对各种类型的图表进行模块化封装,把各种属性、各种参数都封装成按钮或者文本框的形式,并制定相应的操作手册,用户经过简单非专业的培训之后,能够实现对图表个性化修改的需求,降低图表编辑、修改的门槛。

(三)

设计web动态图表,增加图表间的交互功能

目前对各种可视化图表是通过浏览器页面截图的方式保存或者插入到报告模板中来进行使用,用户对图表没法进行进一步的操作,从而实现图表间的交互功能,比如通过某区域某年级各校学生的各科百分等级圆点图(图2)能够看到当年某校各科学业水平的情况,但是如果要看该校某学科各年的发展情况,就只能去找对应的其他不同图表,而不是通过点击该图中的某个地方切换到对应的其他图表,对于用户想要更深层次的某个数据的情况带来了诸多不便。

基于此,为了提高用户使用数据的便捷性,需要开发基于web的动态图表,增加图表间的交互功能。例如,把鼠标放到某个数据点上能够获得该处的信息提示,点击某个数据点后可以跳转到新的界面,查看相对应的其他数据,用户可以根据需要在界面上选择呈现哪些类型的数据或者哪些学校、哪些学科的数据。目前监测中心的数据可视化仅运用在学业质量监测数据的呈现中,希望未来能够将数据可视化深入运用到学生的学习、管理和过程评价中,以及运用到教育管理和教育治理的过程中,使之更好地服务于教育决策的改进和教育质量的提升。

 

参考文献(向上滑动阅览)

[1]王媛媛,丁毅,孙媛媛,赵志丹.数据可视化技术的实现方法研究[J]. 现代电子技术, 2007(04):71-74.

[2] 裴丹丹.基于ECharts的数据可视化实现[D]. 北京邮电大学, 2018:7.

[3] 毋晓志.空间优化的图可视化方法研究[D]. 山西大学, 2011:5-6.

[4] 张金磊,张宝辉,刘永贵.数据可视化技术在教学中的应用探究[J]. 现代远程教育研究,2013(6):98-111.

[5] 彭兰.社会化媒体,移动终端,大数据:影响新闻生产的新技术因素[J]. 新闻界, 2012(08):3-8.

[6] 高科.基于HTML5的数据可视化实现方法研究[J]. 科技传播, 2013:186-187.

[7] 姜赵,谢晓伟.基于Python的数据可视化应用与研究[J]. 科学技术创新, 2020(30):88-89.

[8] 彭焕卜,谢志昆.基于Python的学习者基本数据分析与可视化研究[J]. 中国教育信息化,2021.15:60-65.

[9] 田伟,杨丽萍,辛涛,张生.科技赋能教育监测与评价:现状与前瞻[J]. 中国远程教育.2022(01):1-11.

 

<<  滑动查看下一张图片  >>

 

 

编辑丨周利

审核丨罗强 冯杰

 


上一篇:教育测评论文 | 指向学科核心素养的英语学业质量监测命题实践
下一篇:教育测评论文丨小学英语书面表达试题的解析与启示