基于深度学习的密集人群安全监测系统

　　摘 要：近年来高密度人群聚集活动经常因为缺乏及时有效的管理而导致安全事故频频发生，人群活动的应急管理、风险评估、隐患识别越来越受到重视。鉴于系留无人机的自由灵活性，其可长时间、全方位监测密集人群，将监测数据传入深度学习的卷积模型中，计算人群密度等指标，并验证实验结果的可行性，将预警信息、风险点数据推送至相关管理单位，形成监测信息、预警信息、对应措施信息化安全管理系统，为安全管理部门提供帮助。

　　关键词：城市安全;高密度人群;系留无人机;深度学习;场景分析;卷积模型

　　《智能系统学报》已于2006年3月正式出刊,双月刊。是由中国人工智能学会和哈尔滨工程大学联合主办，是中国人工智能学会会刊之一。

　　0 引 言

　　当今国民经济快速发展，人们的物质生活和精神生活大幅提升，节假日旅游、明星演唱会、城市各大广场商场、地铁站、火车站等大型人群活动越来越多，急剧发展的同时也带来了城市的安全问题。群众的聚集性活动具有秩序混乱、容易恐慌、拥挤度高、管理困难等特点，比较容易发生意外，比如踩踏性事件、重大伤亡事件、财产丢失事件等[1]。近年来，我国频频发生大型人群活动恶性事件，2004年2月5日在北京市密云县密虹公园举办的密云县第二届迎春灯展中，因为游人在公园桥上跌倒，引起身后游人拥挤，造成踩死、挤伤游人的特大恶性事故，事故造成37人死亡、37人受伤;2007年11月，重庆一家乐福超市因食用油打折促销引发踩踏事故，造成3人死亡，31人受伤;2014年12月31日上海外滩陈毅广场发生踩踏性事件，造成36人死亡，49人受伤[2]。若能实时监测每个场景中的人群密度、拥挤度、人群流向、人群异常行为等指标，然后根据实时监测指标采取相对应的安保措施和实行不同等级的紧急预案，就能及时避免或者减少此类事件的发生。

　　传统的人群计数研究方法分为两种：第一种是基于检测的方法，使用一个滑动窗口检测器来检测场景中的人群，并统计对应人数;第二种是基于回归的方法，该方法通过提取一些低级特征学习一个人群计数的回归模型，但很难处理人群之间严重遮挡的问题[3]。随着深度学习计算机视觉技术的发展，卷积模型处理视频数据的效果显著，同样也被应用于人群计数的研究中。因为卷积神经网络具有强大的特征学习能力，可以解决遮挡、视角等问题，所以深度学习在人群计数数据集和卷积神经网络模型等方面表现良好。

　　1 系留无人机监测系统

　　系留无人机近年来已被广泛应用在应急抢险工作中，国内外很多公司对系留无人机的相关设备有了成熟的研究并不断完善，在起飞、悬停高度、载荷等方面也进行了不断探索[4]。系留无人机通过系留电缆连接系留控制箱，系留控制箱与地面电源连接，具有续航时间长、稳定性高、精度高、成本低、拍摄范围广、实时监测等特点。系留无人机可以搭载高清广角相机、红外相机、雷达传感器等监测工具，采集的高质量视频图像通过HDMI接口传入电脑，视频数据经计算处理得出监控场景中的人群数量等指标，传输到指挥中心进行判断，对人群疏导、安全事故、风险评估起预测作用，可节约人力，提高效率。系留无人机监测平台方案示意如图1所示。

　　2 基于深度学习的监测数据处理方法

　　深度学习的基本工作原理如图2所示。图像输入设计的卷积神经网络提取特征通过权重值输出预测值，一一对应的预测值与真实值利用损失函数判断之间的差异，作为反馈信号权重进行微调，在调节过程中使用优化器来完成，最终经过数次迭代使模型达到最小的损失值，训练结束，保存权重。

　　数据来源于公开的shanghai-tech数据集(1 100张图片)和自己拍摄的大型活动场景图片(900张)，所有图片数据均需经过标准化处理。将高密度人群图像和稀疏人群图像整合后，训练一个适用于普遍场景下的人群计数模型。数据标记过程是把每一张图像中的头部标注成稀疏矩阵，再通过高斯滤波转换成2D密度图，密度图中所有单元格的总和为图像中的实际人数，经数据预处理后生成一一对应的数据标签图像[5-6]。其中1 400张为训练图像，600张为测试和验证图像。

　　2.1 网络结构

　　本文通过两类卷积神经网络模型计算人群指标并验证深度学习的准确率。一类是基于卷积+空洞卷积的CNN模型，其前端利用预训练的VGG16网络前的十层卷积层和三层池化层，每次卷积采用补0操作，保持输出的图像大小不变，最大池化步幅为2，图像输入网络中，经过4次卷积和3次池化后，输出图像尺寸变为之前的1/8，图像变小后生成密度图比较困难，所以后端加上六层空洞卷积(Dilated Convolution)，设置膨胀率为2[7-8]，其网络结构如图3所示。

　　另一类是基于多尺度的编码-解码(Encoder-Decoder)网络结构，网络的编码部分使用多尺度卷积结构，通过不同大小的卷积核可以很好地学习不同尺度的人群特征，使模型的泛化能力更强。本次研究设计了4种不同尺度的卷积核，串联输出，采用最大池化，每次池化图像变为之前的

　　1/2[9-10]。网络解码部分使用卷积和三层转置卷积得到最终的人群密度图，网络结构如圖4所示。

　　2.2 损失函数

　　(1)基于CSRNet的损失函数采用欧式距离来计算标签图像的真值和预测密度图之间的差异[11]，计算过程如下：

　　式中：N为训练样本的数量;Z(Xi; θ)为输入第i个样本的预测密度;ZiGT为第i个样本的真实密度;L(θ)代表密度损失。

　　(2)基于SANet的损失函数采用SSIM和欧氏距离的结合来计算密度图与真实值之间的相似性[9]，计算过程如下：

　　式中：N代表样本的数量;C1和C2代表常数;μF为样本F的均值;μY为样本Y的均值;σF为样本F的方差;σY为样本Y的方差;σFY为样本Y，F的协方差;SSIM衡量真实值与密度图之间的一致性;LC代表图片的一致性损失;Lθ代表欧式距离的密度损失;LOSS代表总的密度损失。

　　2.3 评估标准

　　采用平均均方根误差MSE和平均绝对误差MAE两个指标评价模型的性能，MSE评价模型的准确率，MAE评价模型的鲁棒性[5，11]，公式如下：

　　式中：N为测试集的图像数量;G(i)和P(i)分别表示第i张测试图像的真实值和预测值。

　　2.4 实验过程

　　实验环境为Ubuntu18.04操作系统，GPU为GTX1060，使用后端为TensorFlow的Keras深度学习框架。实验过程中为了防止出现过拟合和通过少量样本训练泛化能力强的新模型，使用训练数据增强生成器，通过旋转、平移、缩放、翻转等随机变化来增加样本数量。数据输入采用小批次训练，每次输入8个样本，训练过程的参数设置见表1，表2所列。

　　2.5 实验结果分析

　　测试结果见表3所列，MSE和MAE两个误差指标都在误差范围内，验证了本文介绍的人群计数网络结构方案的有效性。

　　本文基于卷积-空洞卷积和多尺度编码-解码两种网络在深圳市海岸城、广州市火车站和shanghai-tech测试数据集进行测试，结果见表4、表5所列。

　　系统分析流程如图5所示。

　　3 案例的應用分析

　　3.1 深圳市南山区海岸城购物中心

　　海岸城位于深圳市南山区后海，紧邻滨海大道、南海大道、后海大道、创业路等南山区城市主干道，附近有百货商场、特色餐饮、潮流娱乐、零售店面、品牌商铺，周边有深圳大学、写字楼、科技创业园、居民住宅等建筑，周末、节假日成为了人们聚集的休闲地点，从而形成人流量较大、人群活动密集的现象。本文选取靠近后海地铁站D，E出口近150 m的步行街为研究对象，此步行街在地上二层，两侧排满商铺，采集数据的时间为每个周末的下午5点，采集次数为5次，具体场景如图6所示。

　　(1)评价监控场景中人群舒适度与行人心理情绪的关系

　　研究区段长近50 m，宽近10 m，研究面积为500 m2，通过人群计数的实验得出无人机特定视角监测范围内人数为400～450人，行人密度为0.8～0.9人/m2，通常情况下，行人密度小于1人/m2时，人群活动比较自由，行人密度小于0.5人/m2时，人群活动比较舒适[12]，所以研究路段基本可满足行人自由活动的需求，但是人群行走舒适度不高，有行走限制，会影响行人购物的心理情绪，出现焦虑、烦躁等心理状态，需注意排队购物、行人突然奔跑、小孩随意走动等行为[13]。

　　(2)人群聚集度与危险等级的关系

　　通过计算人群的数量，可以得到人群聚集程度、步行街的热点商铺，因为排队购物将导致人群聚集度高，因此应重点关注类似商铺，采取控制人流量、设置栏杆、合理疏导等措施。购物中心管理人员根据聚集程度合理设置商铺功能，靠近地铁口的路段勿安排热销购物品牌商铺，以免造成交通堵塞。靠近电梯口的地方尽量不要设置商铺，以防拥挤造成事故。

　　3.2 广州市火车站

　　广州火车站是广九、京广铁路的终点站，有4个站台、7条到发线，途径线路有广茂铁路、广佛肇城际轨道。春运期间运送乘客约200万人次，广州火车站的设计规模已无法满足当下需求，面对如此巨大、密集的客流量，人工安全管理工作很难落实到每一个角落，所以采用无人机监测火车站的安全很有必要。广州火车站的具体场景如图7所示。

　　(1)人群密度与疏散时间的关系

　　广州火车站的候车广场较大，如果发生意外，需要进行人群紧急疏散，那么人群的合理疏散问题就非常重要。系留无人机凭借灵活稳定等特点，可以拍摄各个位置的人数，无人机视频图像再经过模型计算后得出各位置的实时人群数量，根据人群数量合理规划各通道的疏散时间，并根据人群密度判断行走速度，合理规划走电梯、扶梯、楼梯等时间，进行合理引导确保安全疏散，以免造成恐慌和踩踏事故的发生，同时还可以根据计算得到的人群总数采用不同等级的紧急预案，节约决策时间[14]。

　　(2)人群数量与交通引导的关系

　　对于进站人群，通过无人机的航拍得知拥堵人群的位置和数量，告知进站人员选择合理的进站口，错开拥堵的进站口，以减少工作人员的工作量，节省人力[15]。广州火车站附近有地铁2号线、地铁5号线和广州火车站东侧的30多个总公交车站，对于出站人员，通过计算人群数量、人群聚集度等指标引导出站人员选择正确的通道出站，节约时间。

　　4 结 语

　　本文主要研究人群密集活动场景下，通过系留无人机监测平台拍摄的场景视频经过深度学习卷积模型计算得出人群密度图和人群数量，并以深圳市南山区海岸城和广州火车站两个案例进行分析，得出以下结论：

　　(1)实验通过对深度学习模型进行测试，证明基于深度学习的人群计数是可行的，并且误差较小，符合密集或者稀疏场景的需求;

　　(2)系留无人机监测平台可以对密集活动进行现场安全保护，实时提供人员聚集程度、人员分布情况等信息，拍摄广泛或者特定位置信息;

　　(3)通过两个案例的简单分析说明基于系留无人机监测平台的安全应用可以节约人力、提高效率、提供安全风险等级、预防安全事故发生;

　　(4)未来的研究工作还包括人群异常行为检测和人群数量预测，结合已有人群计数、人群聚集度等指标来减少安全事故的发生，为大型人群活动提供有效的保护措施。

　　参 考 文 献

　　[1]梁静，杨君涛.大型社会活动安全风险指标体系构建的思考[J].现代职业安全，2015(4)：71-73.

　　[2]卢文刚，蔡裕岚.城市大型群众性活动应急管理研究：以上海外滩“12·31”特大踩踏事件为例[J].城市发展研究，2015，22(5)：118-124.

　　[3]蓝海磊.人群计数算法综述[J].计算机产品与流通，2019(7)：91.