项目编号: 202013207007

项目名称: 基于深度学习的智能迎宾平台的设计与实现

项目关键词: 创新、深度学习、神经网络、机器学习

项目类型:创新训练

项目实施时间: 2020-04-11 至2021-04-11

所属一级学科:计算机科学与技术

所属二级学科:计算机应用技术

大连科技学院位于辽东半岛最南端的大连旅顺经济开发区大学城内。学校强化创新创业教育，已获批为中国创业创新典型示范基地。目前，学校已成为教育部“互联网+中国制造2025”产教融合促进计划建设院校。其优秀的创新训练环境，为本项目提供了硬件条件上的保障。

本项目由刘瑞杰、路旭明两位老师指导，刘瑞杰老师一直从事教学、科技创新等工作，曾多次获辽宁省“蓝桥杯”全国软件大赛等多个赛事的优秀指导教师称号，发表学术论文共20余篇，路旭明老师获2021届辽宁省计算机设计大赛优秀指导老师，指导学生参加科技创新竞赛多次获省级奖项。

此外，学生团队均是来自数字技术学院软件工程专业的优秀学生，其中队长杨雪飞曾多次获省级、国家级计算机类大赛奖项，毕业后就职大连埃森哲。队员杨梦微、高瑞均获计算机设计类的奖项，队员黄文波发表过期刊论文。团队成员均接受过软件工程专业严格、严整、严谨，系统化的计算机理论与技术的教育或培训，具备独立完成科研类工作的理论基础与技术能力。为完成该项目，本创新小分队在中国知网上查阅大量相关参考文献，经过反复技术验证，完成本课题，本团队在科技创新的路上从未停止过，并且在未来会一直训练、保持热爱，争取不断创新！

本课题是一款集成人脸检测、人脸识别、语音播放、平台数据管理、迎宾数据分析、数据可视化等多种功能或技术的智能化、一体化的迎宾应用平台。在本平台设计中最关键的是人脸识别技术。项目组通过对目前市面上各种人脸识别设备进行调研，发现现有的人脸识别设备在识别效率与识别精确度等方面存在一定的缺陷。为了提高人脸识别设备高效识别的目的，本平台采用深度学习算法对此进行设计，能自动完成迎宾平台宾客身份的高度识别并采用不同的欢迎词进行语音播放，同时还通过大数据分析技术预测出宾客的年龄、性别和情绪等，从而进行可视化分析与相关统计，是一个高度智能的迎宾平台。该平台可使识别时间优化到1.2秒左右，而且比传统设备识别精确度更高，识别更智能化，并可以高效地、智能地对宾客进行欢迎致辞，减少人力成本，也兼顾到了人性化服务与数字化管理，为迎宾仪式提出了新的选择。这比市场上现有的迎宾平台更加先进、智能，可广泛应用于银行、学校、商场等各行各业中。

在研究方法上，本团队在硬件的检测算法上做出重大升级，首次使用MTCNN神经网络检测算法。MTCNN，Multi-task convolutional neural network（多任务卷积神经网络），将人脸区域检测与人脸关键点检测放在了一起，它的主题框架类似于cascade。总体可分为P-Net、R-Net、和O-Net三层网络结构。MTCNN为了兼顾性能和准确率，避免滑动窗口加分类器等传统思路带来的巨大的性能消耗，先使用小模型生成有一定可能性的目标区域候选框，然后在使用更复杂的模型进行细分类和更高精度的区域框回归，并且让这一步递归执行，以此思想构成三层网络，分别为P-Net、R-Net、O-Net，实现快速高效的人脸检测。在输入层使用图像金字塔进行初始图像的尺度变换，并使用P-Net生成大量的候选目标区域框，之后使用R-Net对这些目标区域框进行第一次精选和边框回归，排除大部分的负例，然后再用更复杂的、精度更高的网络O-Net对剩余的目标区域框进行判别和区域边框回归。

本课题设计使用FaceNet神经网络算法进行人脸识别，人脸识别不同于人脸检测，难度会进一步升级。与其他的深度学习方法在人脸上的应用不同，FaceNet并没有用传统的softmax的方式去进行分类学习，然后抽取其中某一层作为特征，而是直接进行端对端学习一个从图像到欧式空间的编码方法，然后基于这个编码再做人脸识别、人脸验证和人脸聚类等。FaceNet算法有如下要点：

1.去掉了最后的softmax，而是用元组计算距离的方式来进行模型的训练。使用这种方式学到的图像表示非常紧致，128位即可；

2.元组的选择非常重要，选得好可以很快的收敛。

本项目通过计算机视觉与自然语言处理对来访人员进行检测和招待，并将采集、运算得到的嘉宾数据通过深度学习进一步计算和存储到可视化平台上，从而最终实现迎宾情况的可视化与统计分析。所以，该平台集成了物联网、云计算、人工智能、互联网软件应用与可视化技术，属于全栈性质的课题，具有较高的技术含量与社会价值。通过本项目的设计与实现，能够为迎宾应用场景提供全新可行的技术解决方案。

本团队在研究与完成本次创新训练的课题过程中，深刻体会到了科研的艰难：做学问不仅需要百折不挠的精神，还要独到新颖的创意。多看高质量的论文、参透文章的新意、结合自己的创新点，合众家之所长，完成科研工作也不会很难！