基于学生面部表情识别的教学效果分析方法研究①

杨 艺

摘 要：课堂是教师实现有效教学的主战场，追求优良的教学效果是教学的本质要求，也是当前教学改革的重要目标。传统课堂环境下教师主要采用观察学生的面部表情来获得教学反馈信息，这会因个人精力不足等原因，造成信息传递与反馈的片面性和滞后性。本文提出一种基于智能视频监控系统的课堂质量管理评价方法，教师利用面部表情识别技术，及时获取课堂上学生的表情反馈信息，全面准确地掌握学生对当前学习内容的注意力集中情况和兴趣，以便实时调整教学进度和教学活动，进行有针对性的指导，以此提升教学效果。

关键词：表情识别；智能视频监控系统；教学效果；视频分析

一、引言

一直以来，课堂教学都是实现有效教学的主战场。作为教学主导者的教师，希望在教学过程中实时了解学生对教学内容的掌握情况，从而及时调整教学进度、教学活动和方法。如今教师在课堂教学中面对的学生通常较多，教师在授课时很难做到随时观察大多数学生的听课情况，并且一堂课40～45分钟，教师也不可能记住每个学生在课堂上听课状况的变化。信息技术的进步及图像处理、基于模式识别的表情识别等理论的发展，推动了智能视频监控系统的应用。较之传统视频监控系统，“智能”二字的含义就是指除了可以记录影像，还可以根据监控目标的状态实时分析视频影像，自动反馈有用信息。教师可以使用此技术来对课堂上学生的听课状况加以记录，并实时识别和分析学生的表情，通过程序实时计算或统计，综合评估教学过程，施以合适的教学方法，以此提升教学效果。

目前，高校使用智能视频监控系统并将其融入课堂管理评价的情况还较少，但是已有一些学者开展了表情识别技术获取教学反馈信息的研究。冯满堂等提出了一种基于人脸表情识别的智能网络教学系统模型，从而提高网络环境下的教学效率。程萌萌等创新性地利用表情识别与视线跟踪技术实现情感反馈，构建了与学习相关的表情库方案，为网络学习中情感反馈机制的发展提供了技术支持。韩丽等提出了课堂环境中基于面部表情的教学效果分析，研究了基于人脸检测与表情分析的课堂教学评价系统。本文旨在顺应智慧教育、智慧教学和智慧课堂的应用需求，将智能视频监控技术与教学模式相结合，提出基于学生面部表情识别的教学效果分析方法。

二、表情识别技术

人的面部表情蕴含了大量有关内心情感变化的信息，可以反映其内心微妙的情绪状态。人脸表情识别作为智能化人机交互的重要组成部分，一直是备受关注的研究课题。这项技术涉及图像处理、机器视觉以及心理学等，一般包括四个环节，即图像预处理、人脸检测与定位、表情特征提取和表情分类。

（一）图像预处理

受采集的环境和设备质量以及拍摄等因素的影响，直接从摄像设备中获得的视频通常是不能直接使用的，我们需要对原始采样进行预处理。预处理就是去除原始视频的噪声，剔除与表情无关的区域，比如背景、头发、耳朵等；对采集的视频帧标定特征点，比如眼睛、眉毛、鼻子和嘴巴的中心点；根据面部特征点几何模型确定矩形特征区域并剪裁；统一表情区域尺寸。图像预处理主要是为了提高视频帧质量，对有用的信息进行强化，为后序表情识别算法的执行做好准备。目前，图像预处理主要采用灰度变换、插值、图像归一化处理、图像滤波、边缘检测、轮廓提取等方法对人脸表情图像进行图像增强运算。

（二）人脸检测与定位

人脸检测与定位就是判断视频序列中是否出现人脸，并对移动的人脸进行跟踪定位。人脸检测的方法主要有基于知识的、基于外观的、特征不变和模板匹配方法，并且这些方法各有优劣。由于课堂环境复杂多变，比如光照明暗、多张人脸，摄像头的角度、位置不断变化等问题都可能成为人脸检测的限制因素，因此选择人脸检测算法时需要考虑自适应的、检测精度高的方法。

（三）表情特征提取

提取表情特征的有效性在很大程度上决定了表情识别的精度。提取方法有两类：一类是基于局部信息的方法，即人工选取面部关键点（区域），之后提取局部特征；另一类是子空间特征提取方法，即针对面部整体特征，寻找基于某种特征准则的最优变换，在子空间中只保留表情分类鉴别的特征。对分类起关键作用的特征主要集中在眉、眼、嘴等部位，提取方法如下：一般需要先从人脸图像中提取特征点（区域）来获得描述表情变化的参数，之后再综合这些参数进行表情识别。

（四）表情分类

1975年，埃克曼（Ekman）等提出了6种基本情感，即愤怒、厌恶、恐惧、高兴、悲伤、惊讶，这6种基本情感在表情识别领域得到了广泛应用。表情是情绪的客观外显行为，在课堂教学中，学生的表情可以向教师传达反馈信息。学生听课时面部表情高兴，代表其对当前学习内容感兴趣，愿意学习。当学生厌烦当前所学习的内容时，其往往会表现出抗拒的姿态，比如低头、睡觉等。由于该研究的主要对象是教学课堂里学生的表情，因此除了对学生的表情进行常规识别外，教师还需要对不同的表情相对应的学习情绪进行关联分类。表1中除了上述提到的6种表情外还增加了“中性”。

表1 学生面部表情——学习情绪对照表

目前常见的表情分类算法包括贝叶斯（Bayes）、支持向量机（Support Vector Machines）、隐马尔科夫模型（Hidden Markov Model, HMM）、卷积神经网络（Convolutional Neural Networks, CNN）等。

三、流程设计

高质量的课堂教学，需要教师实时观察学生状态，根据具体教学情况，灵活运用教学手段和方法，调动学生课堂学习的主动性，鼓励学生积极参与并获得求知的愉悦感。然而，在一名教师面对多名学生的课堂教学中，教师的主要精力集中于讲课上，观察学生不全面和滞后的情况难免会出现，从而在一定程度上影响教学效果。为了帮助教师实时掌握学生的学习状态，提高课堂教学效果，本文提出利用智能视频监控系统的实时性与智能性，基于学生面部表情识别辅助教师课堂教学的一种方法。其流程如图1所示。

图1 基于表情识别的教学效果分析流程图

从流程图可知，教室需要安装高清摄像机，保证对各教室的实时拍摄和采集清晰的图像，并将采集到的视频信号通过专设线路传输到主控计算机。主控计算机调用图像读取模块读取图像，先进行图像预处理，然后通过人脸检测算法实现图像的多目标人脸检测，再提取脸部特征，结合已有的表情特征库进行学生表情识别。主控计算机将识别结果输出到统计分析模块，分析学生对课程内容的关注度、参与度、课堂活跃值等。教师可以从这些统计分析出的指标中把握课堂状况，调整自己的教学进度和活动。

四、基于面部表情的教学效果评价实践

我们设计了关注度、参与度、活跃时间三个评价指标来衡量课堂教学效果。学生的关注度定义为在一个时间区间内表情识别为中性、高兴和惊讶的个数与总数之比（时间区间可以自行设定）；参与度定义为在一个时间区间内能检测到的人脸个数与总数之比（时间区间可以自行设定）；课堂活跃值定义为在检测时间区间中当学生参与度＞σ时，课堂活跃值为1，说明课堂上学生处于积极状态；否则为0，说明课堂上学生处于不积极状态。其中，σ为阈值，比如σ可以设定为80%。

（一）实验设计

我们选定一个班的学生，在教室前端架设一台摄像机拍摄一节课，课程结束将视频输入计算机并按照上述流程进行处理。由于采集的视频数据很大，40分钟视频达到13.8G，因此我们可以将视频数据分段后再处理。

1．图像预处理

输入原始图像，经过颜色校正、灰度变换、插值、归一化处理、图像滤波、锐化等一系列图像增强运算，为后续的识别打好基础。

2．人脸检测

输入增强图像，通过预先准备好的人脸检测算法进行检测，随后对增强图像进行人脸部分的裁剪，最后得到定位好的人脸图像。

3．特征提取

对处理后的人脸图像使用Gabor 小波变化算法进行特征提取。由于Gabor 特征在局部可以很好地描述空间特性和方向特性，并且对图像中的光照、姿态的改变也具有一定的稳健性，因此很适合描述图像纹理信息。目前，Gabor 特征提取在人脸表情识别领域成为最流行的特征提取方法。

4．表情识别

我们使用预先训练好的深度神经网络VGG19对表情进行分类，其中标签angry、disgust、fear、happy、sad、surprise、neutral 分别对应愤怒、厌恶、恐惧、高兴、悲伤、惊讶、中性七种表情。通过表情分类后的预测值和事先设定好的容错指标，我们得出表情识别结果，并将其与对应的学生编号进行关联，存入数据文件。图2是个人表情识别效果，图3是课堂学生表情识别效果。由于实验中只用了一台摄像机，放置于讲台上的摄像机的录制方向又是处于水平的，因此在某些有遮挡的位置，摄像机就识别不了人脸。

图2 个人表情识别效果

图3 课堂学生表情识别效果

（二）识别结果分析

在课堂学习期间，绝大多数学生表现出一种聆听思考的状态，通过表1（学生面部表情——学习情绪对照表）可知，中性面部表情应该出现得最多，高兴面部表情次之，其他面部表情则较少出现。我们设定观察的单位时间区间为10分钟，通过识别录制的10分钟课堂视频，得到表情识别统计情况如图4所示。

图4 各表情人数占比

根据前述对关注度、参与度、课堂活跃值的定义，我们由图4的数据可以得知：关注度=中性占比+高兴占比+惊讶占比=51%+14%+6%=71%；参与度=检测到人脸占比=89%；假定 σ 设定为80%，参与度=89%＞80%，因此课堂活跃值为1，说明当前课堂的学生处于积极状态，这时教师可以继续自己的教学活动。如果关注度较低且课堂活跃值为0时，教师就需要实时调整自己的教学进度和活动以适应当前的课堂状态了。

（三）对一些问题的探讨

鉴于我们的实验环境还不具备智慧教室所拥有的智能监控系统，因此我们只能进行课堂摄像视频的非实时分析。我们在实验过程中发现和总结了一些问题，在此进行讨论。

第一，由于表情识别是对课堂中学生面部信息的采集，摄像机的位置对面部检测识别的最后结果会产生一些影响，因此摄像机的高度和角度一定要适宜。在视频采集过程中，画面应尽可能覆盖课堂全景，尽量不要出现盲区，避免出现没有办法分析的无效数据。另外，摄像头最好具有低照度补光功能等以保证拍摄的视频清晰度达标。

第二，我们在观察课堂视频的截图中发现，由于在课堂纪律的控制下，学生的面部表情表达程度与生活中的面部表情表达程度相差很大，这属于微表情的范畴。我们采用的表情识别算法的训练数据都是比较明显的表情图像，因此在识别有些不明显的表情上就会产生一些误差。这类问题只能通过加入含微表情的表情图像数据才能解决。

第三，前述定义的参与度为能检测到的人脸个数占比，我们在观察课堂视频的截图中也发现这一定义不太科学和客观。如果有的学生用单手托腮遮住了半边脸，人脸就不能被检测到；有的学生埋头做笔记或看书，并没有睡觉和看手机，但如果头埋得太低，同样人脸也不能被检测到。这些问题都需要我们对评价指标另做定义或对检测识别算法进行优化。

五、总结

结合目前智能视频监控技术及人脸检测和表情识别技术，本文提出了基于学生面部表情识别的教学效果分析方法。本文探索性地设计了方法流程，总结了学生在课堂上的常见面部表情与学习情绪的关系，并进一步定义了评价课堂效果的参与度、关注度和课堂活跃值的指标。同时，本文提供了实验过程数据以及应用方法，但是还有很多相关问题有待进一步研究和优化。总之，本文旨在从智慧教学和智慧课堂的应用需求出发，将人工智能技术和教学工作加以融合，以期能对智慧教学系统的发展起到抛砖引玉的作用。

参考文献：

[1] 张利伟，张航，张玉英．面部表情识别方法综述 [J]．自动化技术与应用，2009, 28（1）: 93-97.

[2] 范亚男，葛卫丽．智能视频监控系统发展及应用 [J]．价值工程，2010 （17）: 97-98.

[3] 冯满堂，马青玉，王瑞杰．基于人脸表情识别的智能网络教学系统研究 [J]．计算机技术与发展，2011, 21（6）: 193-196.

[4] 程萌萌，林茂松，王中飞．应用表情识别与视线跟踪的智能教学系统研究 [J]．中国远程教育，2013（3）: 59-64.

[5] 韩丽，李洋，周子佳，等．课堂环境中基于面部表情的教学效果分析 [J]．现代远程教育研究，2017, 48（4）: 97-103.

[6] 侯洪涛．一种课堂环境下学生表情识别系统的研究 [D]．北京：北京工业大学，2015.

[7] 赵明华．人脸检测和识别技术的研究 [D]．成都：四川大学，2006.

[8] CHEON Y, KIM D. Natural facial expression recognition using differential-AAM and manifold learning [J]. Pattern recognition,2009（42）: 1340-1350.

[9] SHAN C F, GONG S G, PETER W. A comprehensive empirical study on linear subspace methods for facial expression analysis [C] //IEEE computer society conference on computer vision and pattern recognition workshop, 2006: 153-158.

[10] EKMAN P, FRIESEN W V. Friesen unmasking the face [M]. Englewood:Prentice Hall, 1975.

① 基金项目：重庆市教育科学“十三五”规划项目“基于学生面部表情识别的教学效果分析与实证研究”（项目编号：2018-GX-342）。