王青云,梁瑞宇,谢 跃,唐闺臣

本文基于智慧教室软硬件，以教师教学评价为目标，利用音视频和生物信息多模态模式识别技术开发了学生状态实时监测系统。在软硬件设计方面，构建了麦克风阵声源定位和云台控制摄像机视频采集平台；在算法方面，实现了基于时延估计的声源定位算法和基于多模态的MobileNet-LSTM-Attention情感识别模型。仿真实验说明，上述算法能有效辨别6类基本情感类型。基于C#开发的学生状态实时监测系统软件可以实现语音、视频和生物信息多模态情感识别，进而分析出学生的课堂活跃度，有助于教师设计个性化的教学方案，创造有吸引力的学习体验。

智慧教室；声源定位；多模态情感识别；实时监测系统

[1] 王一岩,朱陶,郑永和.智能教育产品助推教育数字化转型:价值定位、实践逻辑与推进策略[J].现代教育技术杂志,2023;33(7):9. [2] 联合国教科文组织高等教育创新中心（中国深圳）[M],人工智能时代的高等教育白皮书.2023. [3] 杨梦希.高职院校智慧教室建设及应用实践探析[J].电脑知识与技术,2023;19(21):118-121. [4] 张亚珍,张宝辉,韩云霞.国内外智慧教室研究评论及展望[J].开放教育研究,2014;20(1):11. [5] 李怀阳,莫什莫日作.智慧教学理念下运用智能平台开展教学设计实训的探索——以飞书为例[J].华夏教师,2023(19):51-53. [6] 侯峰.大数据视角下关于智慧校园云平台建设的思考[J].计算机产品与流通,2020(3):2. [7] 熊嘉豪,智慧教室系统设计及课堂行为识别研究[M].2023,南昌大学. [8] Martin O K I,Macq B,Et Al.,The eNTERFACE'05 audio-visual emotion database,in IEEE 22nd International Conference on Data Engineering Workshops(ICDEW'06)[C].2006.8

点击下载PDF