摘 要 为了有效管理日益增多的高校学生，对学生进行实时准确监控，解决在机房或者网上课堂等教师难以观察学生状态的环境中如何有效了解学生动态的问题，提出并研制基于视频分析的机房教学监控系统，系统通过摄像头捕获人脸，使用深度学习来识别学生状态。经验证，该系统能及时让教师了解学生上课状态。
关键词 人脸识别；教学监控系统；机房教学；深度学习
中图分类号：G642 文献标识码：B
文章编号：1671-489X（2018）10-0024-03
Development of Automatic Monitoring System in Computer Lab//
CHEN Binjie， TIAN Shengwei， YI Daqiang， CHANG Pengxiao
Abstract In order to effectively manage a growing number of uni-versity students， monitor students in real time and accurately， and solve the problem of how to understand the students ‘status in an environment where the teachers’ classrooms or online classrooms are
difficult to observe. This paper presents and develops a computer lab teaching monitoring system based on video analysis. The system uses the camera to capture face and identify students’ status. The system is verified that can help teachers understand the status of stu-dents in time.
Key words face recognition； teaching monitoring system； computer lab teaching； deep learning
1 引言
在高等教育中，机房教学是培养计算机人才必不可少的环节，机房也是高等教育的主要进行场所。我国高等教育的现状大多是一个教师在课堂上至少要管理百余人，若是在机房环境中上课，教师和学生之间被计算机屏幕等设备阻隔，教师无法获得学生学习状态，这让学校从课堂表现上评价学生变得非常困难，评价学生的学习效果只能通过考试分数，而评价不准确也让教学质量难以获得保证。解决这个矛盾的关键点在于，如何解决机房中教师无法准确全面获得学生信息的问题，即如何监管学生的问题。
1）机房课堂中学生和教师之间的空间阻隔大，教师视线受到机房中计算机屏幕等设备的遮挡，无法观察学生的一举一动，导致课堂上出现学生睡觉、玩手机、聊天甚至中途离开机房早退的现象，而这些问题教师都难以察觉和监督。
2）现今大学生旷课、迟到、早退现象尤为常见，还有学生上课代答到的现象发生，在考勤管理上使用传统点名方式管理学生极为困难，无法得到真实的考勤情况。
3）在人数多的机房中进行点名工作、统计到勤情况是十分耗费时间的，耽误学生学习和教师讲课；若要检查学生的早退情况，在下课时还要进行一次点名，教师无法实时掌握学生的到岗情况。
2 系统简介
基于视频分析的机房教学监控系统（以下简称“本系统”）是一个基于人脸识别、机器学习、深度学习，适用于机房教学环境的教学辅助类系统。本系统可以实时地分析学生的课堂学习情况，克服传统教学评价系统的高延迟性这一缺陷。此外，应用软件系统将对学生学习状况进行汇总分析，形成基于真实数据的数字报告并反馈给学生和学校，更好地辅助学生优化在机房中的学习效果。该系统能对学生的学习情况进行全面客观分析：以往，课堂学习情况本应作为学生学习成绩评价的重要依据，但由于考查难度大而大打折扣、难以实施，因而不得已采用考试分数作为学生学习成绩评价的主要指标；若使用该系统，就能夠克服这一缺陷，将学生的上课表现纳入期末综合考核中，同时大大减轻教师的调查负担，让教师能够专心于上课而不需要分心观察记录学生情况，相当于为教师配备了一个“电子助教”。
3 系统功能介绍
本系统主要有课程管理功能、签到考勤功能、学习状态分析功能、学生信息发送功能、教师后台管理功能等五大功能。以下是教学监控系统各功能的介绍。
课程管理功能 系统可以从数据库中获取学生课表信息，结合课表信息自动设置课程监控开始时间和结束时间。同时，系统可以手动添加学生和课程数据：添加学生数据时需要添加学生人脸照片和姓名等个人信息，学生的人脸数据将用于签到考勤功能；添加课程数据时需要添加课程名称和课程开始时间、结束时间等。
签到考勤功能 系统将在课程上课时间启动该功能，当到达上课时间时，摄像头会自动运行，并每隔一段时间截取摄像头当前所拍摄的视频中某一帧的图片，通过人脸检测模块截取人脸部分，和数据库中修该课程的学生的人脸图片进行比对识别，将该学生识别为数据库中与摄像头截取的图片相似度最高的学生，将考勤情况记为已到；当连续10分钟未截取到人脸或截取到的人脸不属于原学生时，将会把情况记录生成学生课堂信息，用作学生信息发送功能要发送的数据。这样便可做到对学生上课全时间段的考勤，其准确性和实时性是传统考勤方式无法做到的，且考勤不会占用学生和授课教师的时间。
学习状态分析功能 在教师上课期间，系统会将所有学生摄像头截取到的视频图片通过LBP闭眼检测[1]和人脸定位来检测学生是否在上课睡觉，当人脸无法定位时，默认学生低头或者趴下，系统在数据库中会将这些行为标记为未在学习。目前系统能区分的状态有认真学习、闭眼睡觉、低头未在学习三种。当认真学习的时间和其他状态的时间比率低于教师设定值时，系统将会把学生姓名发送到教师端，教师将能收到当前学生摄像头前的即时画面和系统分析的学生学习状态。同时，所有的学生上课状态信息都会被保存在数据库中，以便于在期末或者其他任意时间段导出学生的上课情况表。
学生信息发送功能 签到考勤状况和学生状态的状况将永久保留在系统内，同时会对每个人的学习情况进行分析，统计出给定时间内某门课程的学习情况分析表并发送给任课教师，任课教师可以通过绑定微信的方式来快速收取系统发送的信息；同时可生成给定时间内某学生的个人学习情况分析表，学生也能通过绑定微信的方式来接收信息，让学生和教师对自己和对方上课的状态进行分析，从而更好地进行教学工作。
教师后台管理功能 教师登录教师账号后可以管理自己课程内的学生，修改其考勤情况，录入学生请假信息，需要输入学生学号、请假原因以及请假起讫时间。在请假时间段内，签到考勤模块将不会对该生进行考勤，而是直接记录为“请假”。教师还可以在系统后台设置学习状态分析系统参数，包括：每节课认真学习时间低于多少时，判定为课堂表现不及格；学生离开屏幕多久后，系统向教师发送通知；认真学习的学生能得到多少课堂表现分；系统每隔多久截取学生当前的图像并进行一次识别。
4 系统设计概要
主要总结教学监控系统结构设计流程以及系统各模块的功能及相关原理。应用程序的总体结构设计流程如图1所示。预处理流程如图2所示。
各模块功能概述
1）图像获取模块。该模块截取摄像头录制的视频中的图片帧来获得图像信息，也可以从现有视频中选择导入视频来获取，在视频片段中每隔1 s截取一次图片，以获取学生最实时的信息。
2）图像预处理模块。该模块包括四个环节，即灰度化、人脸检测、缩放、归一化。其中，灰度化环节将通常的RGB彩色图像通过加权平均法转换成灰度图；人脸检测环节是这四个环节中最重要的，它通过已经训练好的级联分类器提取出图片中的人脸特征部分；缩放环节将截取出的人脸图像的大小缩放到99 px×99 px的大小，这是一个较小的图片，这样能减轻计算机识别人脸的计算来获得更实时的信息；归一化环节将截取的人脸图像进行归一化。
3）人脸识别模块。该模块将输入的人脸图像进行特征提取，然后送入已经训练好的分类器进行概率估计，取概率最大的结果作为输出结果[2]。
4）学习状态识别模块。该模块将整张预处理后的图片作为输入，然后用之前训练好的动作级联分类器进行提取，共用到眼睛、脸部、低头的脸部三个级联分类器。
算法实现概述 人脸识别部分使用了一种LBP（局部二值模式）+CNN（卷积神经网络）的人脸识别算法。因为LBP对输入图片位置敏感，所以当人脸检测算法截取的人脸区域不准确时，提取的特征也会不准确，因此需要对算法进行改进。
将图片归一化为99 px×99 px的图片，再把图片分成9×9个像素大小为11 px×11 px的子集，对子集进行LBP特征的提取。LBP编码时，LBP算子中的半径与采样点的选择将影响LBP算法的性能，半径越大，采样点越多，虽然能够获得更高的识别率，但是数据维度也将变得巨大，并且算法也将更耗时。根据文献[3]中的试验，本文算法采用LBP8-1编码方式。将最后编码获得的每个子集的直方图作为CNN的输入来训练整个网络使用BP算法对整个网络进行微调。卷积神经网络含有一个可视层、一个卷积层和一个池化层。卷积核大小与池化大小均为10×10。最后用训练好的CNN提取训练样本的人脸特征，并以这些特征训练一个Softmax分类器进行人脸识别，同时使用验证集来计算正确率。
5 系统应用测试
签到考勤功能测试 首先，在YALE[4]库上进行人脸识别测试，LBP由于计算简单且具有光照和旋转不变性，因此在限制条件下的人脸库YALE上取得较高的识别率。之后将系统部署到机房进行测试，视频图像的采集上使用200萬像素的网络摄像头。在30人的课堂中进行试验，系统预先录入30名学生的脸部信息；在预定的考勤时间开始时，分别让10人、15人、20人离开教室，系统准确地识别并记录了考勤成功的学生和离开教室的学生，仅一名学生因录入脸部信息时没有佩戴眼镜，而考勤时佩戴了眼镜，导致识别偏差。结果表明，试验中考勤正确率达96.7%，达到实际运行要求。
学习状态分析功能测试 在上课的一小时内，按每秒一张的频率采集上一个试验中的30名学生上课时摄像头获取的照片，共108 000张；之后30名学生随机抽取写有编号为1～30的纸条，抽到编号为n的纸条的学生在第n×2分钟做指定的动作，使用学习状态分析模块对输入的
108 000张照片进行分析，分析睡觉、低头玩手机和不在屏幕前的时间，并和每个学生记录的真实情况进行对比。结果表明，试验中识别这三种状态的正确率达到99%以上，极为准确。
参考文献
[1]徐翠.基于计算机视觉的汽车安全辅助驾驶若干关键问题研究[D].合肥：中国科学技术大学，2009.
[2]齐礼成.基于人脸识别考勤系统的设计与实现[D].西安：西安电子科技大学，2012.
[3]Ahonen T， Hadid A， Pietikäinen M. Face Recognition
with Local Binary Patterns[J].Computer Vision，2004（12）：
469-481.
[4]王宪，张彦，慕鑫，等.基于改进的LBP人脸识别算法[J].光电工程，2012，39（7）：109−114.