在近20年来，结构健康检测已经成为土木工程领域热门的研究方向，在研究和实践中获得了高度关注^[1-2]。桥梁挠度是结构健康监测的重要内容之一，其反应了桥梁的受力和安全状态^[3]。目前，桥梁挠度识别大致分为两类：一类为接触式测量系统；另一类为非接触式测量系统^[3]。随着计算机技术及计算机视觉的快速发展，新兴的计算机视觉测量技术因其非接触、远距离和低成本的巨大优势而受到国内外广大研究人员的关注。Khuc等^[4]基于常规摄像机和计算机视觉技术新开发的完全非接触式结构健康监测系统框架，通过利用成像关键点作为虚拟目标和使用改进的检测和匹配关键点算法来获取结构的挠度和振动。Shrestha等^[5]研究开发了一种基于智能设备的桥梁挠度监测系统，通过图像传感器捕获图像，经实时处理以获得桥梁的特征响应挠度。Hoskere等^[6]以无人机作为拍摄设备，提出一种新的基于视觉的数据提取通道，通过分治策略以无人机一次勘测结构的一部分获得结构振动的视频，从而得到全尺寸结构的模态特性。Artese等^[7]利用数码相机和激光指示器，通过分析高清视频中投射在平面目标上的激光束印记的来获得桥梁任意点的位移。Lydon等^[8]借助改进的运动相机和变焦镜配合特征匹配算法得到荷载下结构的精度位移变化。

以上研究成果已经推动了计算机视觉在土木邻域的发展，但计算机视觉在健康监测中的应用效率和可靠性仍然处于落后位置，对发展实时监测的研究还尚不完善。国内外研究实时监测的采集设备主要以工业相机和便携式相机为主，多数仅做了短期的实时在线监测，过程繁琐、成本高昂，而网络摄像机可解决传统系统的缺点，作为一种普及应用已久的设备，有利于让监测数据与云端相连，加快结构健康事业的发展和向社会普及结构健康监测。国内外以网络摄像机作为采集设备的系统研究还尚未有人涉足^[9-10]。

桥梁挠度识别的算法随着计算机的发展而不断改进，其主要有可以全局搜索的基于数字图像相关的模板匹配^[11]和适用于无人工标志物的特征点匹配^[12]，以及适用于高分辨率监测结构全场位移的稀疏光流^[13]等。可满足网络摄像机监测条件的算法以模板匹配和几何匹配为主，但达到的精度无法进行工程实践^[9,10,14]。

目前常用的模板匹配核心算法是匹配归一化互相关法(NCC)，通过预先在图像中截取含有追踪目标的子图像，即模板，然后再在序列帧中做全局搜索，寻找每一个可能的位置。另外，土木工程领域的几何匹配是基于几何形状特征的模板完成目标识别和追踪。几何匹配的基本原理是对每帧图像进行边缘处理或者定位点提取，找出几何形心，通过对比各帧中几何形心的位置变化完成追踪^[15]。这两种传统算法的不足是计算时间较长，环境适应差，精度低，并不适用于全天候实时计算^[10,14]。

针对以上存在的问题，本文建立了一种基于网络摄像机的桥梁挠度识别系统。系统针对网络摄像机的特点搭载了两种识别算法。两种算法通过改进模板匹配和几何匹配算法克服了网络摄像机像素差、易被干扰的缺点，提高了系统监测的鲁棒性。系统通过精准安装识别在桥梁表面可以主动发光的LED光源实现对目标的跟踪识别，实时获取桥梁的挠度时程信息。

1   系统组成

系统由LED标志物、网络摄像机、计算机及系统识别算法组成，系统识别算法由通过改进的模板匹配即基于HSV的快速模板匹配和改进的几何匹配即基于颜色追踪的几何匹配组成，通过在桥梁表面安装LED光源作为标志物，利用网络摄像机实时无线传输画面进入计算机，进而利用系统识别算法获取分析桥梁挠度时程信息，系统示意图如图1所示。

图  1  系统示意图

Figure  1.  System diagram

下载: 全尺寸图片 幻灯片

1.1   标志物

目前，常见的计算机视觉识别标志物类型有平面板带规则图案^[16]、平面板带不规则图案^[17]、自然标志^[18]、人工光源等^[19-20]，其中人工光源表现出来的抗干扰能力显著优于其它标志物，适合长期实时监测。故本文采用了主动发光的LED圆形红色光源，其具备较长的波长，空气穿透能力明显，能消除光线变化带来的部分影响，配合本文系统识别算法可达到最优的监测效果。

1.2   网络摄像机

网络摄像机是集成了音视频采集、网络传输、移动侦测报警等多功能于一体的数字监控产品，其网络连接方式有两种：一种为有线网络连接，通过网线或交换机与计算机连接；另一种为无线网络连接，通过无线点对点或无线交换机与计算机连接。为简化系统，本文采用无线网络连接的方式。目前，常见的是民用网络摄像机，像素普遍较低，支持低倍光学变焦和自动对焦，最大可视距离集中在30 m内，少数可搭载变焦镜头。为应对复杂工况，本文系统所用网络摄像机采用了可搭载高倍变焦镜头的网络摄像机。

1.3   系统识别算法

本文针对网络摄像机开发了两种系统识别算法，分别是基于HSV的快速模板匹配(HSV—色调(Hue)、饱和度(Saturation)、亮度值(Value)和基于颜色追踪的几何匹配，配合LED光源可进行长期实时监测。两种算法的优势不同，前者适合远程识别监测，后者更擅长近距离识别监测，系统可根据实际监测需求选择合适的算法。

系统为应对室外不可避免的风振和空气扰流，可通过机械稳定、光学稳定、数字稳定的方式减小影响，其中前两种为外在可控因素，系统通过数字稳定对采集视频进行预处理，包括运动估计、滤波平滑以及图像合成。利用特征点匹配和亚像素互相关技术消除摄像机的随机抖动带来的运动噪声^[21]。

1.3.1   基于HSV的快速模板匹配

系统基于HSV的快速模板匹配不仅能够实现快速精准匹配并达到亚像素级，而且对图像灰度依赖较小，有较强的环境抗干扰能力，其算法流程如图2所示，采用基于频域的相位相关匹配算法，将图像预处理后在离线阈值颜色表中查出对应HSV阈值，再进行图像二值化，分离出追踪目标。在截取到追踪目标后定为模板，在频域里得到模板和序列帧的互功率谱，再对互功率谱做IFFT变换得到一个狄拉克函数(脉冲函数)，然后寻找该狄拉克函数的峰值坐标，即可得到偏移量^[22-23]，主要理论如下：

图  2  基于HSV的快速模板匹配算法流程

Figure  2.  Fast template matching algorithm flow based on HSV

下载: 全尺寸图片 幻灯片

将$f(x,y)$和$g(x,y)$分别设定为序列帧和模板的图像信号，其中$g(x,y)$是由$f(x,y)$ 平移得到，平移距离为$({d_x},{d_y})$，即：

对式(1)做傅里叶变换，即：

将变换后的式(2)左右两边同时除以$F(u,v)$，得到互功率谱$H(u,v)$，即：

式中，${G^*}$是$G$的复共轭函数，对$H(u,v)$做IFF变换得到狄拉克函数$\delta$，该函数峰值所对应的坐标即为图像的整数级像素挠度量。

为将精度提高到亚像素级，还需要做进一步的优化，系统采用相关系数曲线拟合的方式提高计算效率和精度，取出$\delta$函数峰值区域局部离散相关系数矩阵(通常为$(2m + 1) \times (2m + 1)$个离散点的正方形窗口，系统采用$3 \times 3$的矩阵)，利用最小二乘法拟合相关曲线逼近真实值^[24-25]，如图3所示，其原理如下：

图  3  拟合流程

Figure  3.  Fitting process

下载: 全尺寸图片 幻灯片

式中：$i,j = - m:m$为窗口局部坐标；$u(i,j)$和$v(i,j)$为坐标$(i,j)$处的原始位移；${a_{i = 0,1,2}},{b_{i = 0,1,2}}$为未知多项式系数，等式(4)可改写成矩阵形式，即：

式中，$\omega = {[{\omega _1},{\omega _2}, \cdots ,{\omega _n}]^{\rm T}}$为待定参数，寻找函数$f(x,\omega )$的参数$\omega$的最优估计值，对于求出的m组(通常m>n)坐标数据$({x_i},{y_i})$$(i = 1,2, \cdots ,m)$，求解目标函数^[26]，即：

式中：$f(x)$为拟合后的亚像素峰值坐标；${L_i}(x)(i =$$1,2, \cdots ,m)$为$x$的线性函数；${\omega _i}(i = 1,2, \cdots ,n)$为最小值参数。根据曲线拟合得到的亚像素坐标$({x_{{\rm{sub}}}},{y_{{\rm{sub}}}})$与模板上目标的起始坐标$({x_0},{y_0})$进行比较，得到亚像素挠度，要求出桥梁实际挠度还需进行尺度转换。由于本文桥梁挠度只关心竖向相对挠度即一维挠度，因此这里只列出竖向相对挠度的计算算法，当相机的光轴与桥梁平面法线夹角为$\theta$时，采用公式如下^[27]：

根据尺度转换因子CF(Conversion Factor)换算成实际桥梁物理坐标，即：

式中：D为相机到桥梁平面的距离；f为镜头焦距；CF为模板竖向物理尺寸即标志物的圆直径${d_{{\rm{mm}}}}$与其在图像上相应像素尺寸${d_{{\rm{pixel}}}}$之比；亚像素挠度$\Delta y$乘以CF即可得到实际桥梁物理竖向挠度$\Delta {y_{{\rm{mm}}}}$。

1.3.2   基于颜色追踪的几何匹配

本文改进的基于颜色追踪的几何匹配，其算法流程如图4所示，不仅能够缩小搜索范围，实现快速精准识别目标，且对尺度变换、非均匀光照变化、边缘软化都不敏感，可以有效应对遮挡，具备一定的抗干扰能力。其采用离线HSV图像获取在不同工况下的目标颜色阈值分割颜色表，将序列帧按梯度信息进行灰度处理，对起始图像四个边角各取4个点计算灰度平均值，在离线阈值分割颜色表中查出对应的HSV的阈值后将图像二值化处理。在二值图像中将目标颜色设定为cvCamShift追踪的目标，并通过ROI画出目标区域。将识别出的目标区域进行阈值处理、开运算(腐蚀、膨胀)后进行边缘检测出需要匹配的形状，即把检测出的形状作为模板匹配序列帧，输出模板的中心坐标，此时输出的是整数像素，需与基于HSV的模板匹配精度优化方式相同，进行曲线拟合、尺度转换后才可得到物理挠度大小。主要理论^[28-29]如下：

图  4  基于颜色追踪的几何匹配算法流程

Figure  4.  The geometric matching algorithm flow based on color tracing

下载: 全尺寸图片 幻灯片

采用Canny函数进行对ROI区域进行边缘检测，即：

式中：I为图像的梯度大小；${\rm L2gradient}$为计算图像梯度幅度，默认值为flase，直接将两个方向导数的绝对值相加，当为true时，应使用更为精准的L2范数即两个方向的导数的平方再开方。

式中：$I(i,j)$为过滤后的像素(i, j)处的图像灰度强度；${I_0}(i,j)$为过滤前像素(i, j)处的图像灰度强度；m 和n为像素(i, j)处的坐标；$\sigma$为高斯标准差。

然后，可以得到滤波图像后的梯度，即：

式中：${I_x}$和${I_y}$分别为图像在x和y上的梯度值；$I(i - 1,j)$为在像素(i−1, j)处的图像灰度强度。通过x和y方向的图像梯度值可获得梯度大小，即：

式中，$\Delta I(i,j)$为像素(i, j)处的图像梯度幅值。

当截取出需要匹配的形状后，代入序列帧中进行匹配，其采用欧式距离计算位置的相似度，用${A_1}({x_1},{y_1})$和${B_1}({x_2},{y_2})$表示图形A与B的质心，即：

式中，U为匹配目标质心A与B距离的最大值。除了考虑距离外，图形大小、图像形状相似度亦是重要指标。

1.4   系统操作步骤

在系统操作过程中，根据实际工程概况选择合适的监测方式，本文系统根据网络摄像机的功能和各系统识别算法的优势将目标监测距离大于30 m的项目流入通道一，小于30 m的项目流入通道二。系统利用计算机实时显示和保存数据，根据各桥梁设计规范和使用要求设定桥梁挠度阈值，一旦监测数据超过阈值会触发系统报警与网络摄像机预报警信号，系统操作步骤如图5所示。

图  5  系统操作步骤

Figure  5.  System operation steps

下载: 全尺寸图片 幻灯片

2   模型试验与数据分析

2.1   试验设计

试验所用的模型是一座长10 m，宽1.6 m的人行桥^[30]。试验器材有激光位移传感器(HG-C1030)、激振器(APS400电子激振器)、网络摄像机(JM-W5022Q)、计算机、LED光源。网络摄像机的帧率为30 Hz，实际帧率受到网络传输速度的制约，目前采用的是4 G网，现场实时传输速度在每秒5 M左右，已经满足需求。网络摄像机录制的视频为$2560 \times 1960$像素，由于实验室距离较近无需配备变焦镜头。LED光源的功率为10 W，直径为50 mm。人行桥的第一阶自振频率为4.0 Hz，为能够达到较好的试验效果，激振器输入频率为4.0 Hz，幅值为6VPP。激光位移传感器的量程为30 mm，精度为0.03 mm，采样频率与网络摄像机同步。整个试验平台如图6所示。

图  6  试验平台

Figure  6.  Test platform

下载: 全尺寸图片 幻灯片

整个试验为了更好的模拟全天候复杂情况，设定在四种工况下进行了模型试验如表1所示。图7加雾模拟展示了白天加雾以及夜间加雾的工况。

表  1  试验工况

Table  1.  Test conditions

工况1	工况2	工况3	工况4
白天	白天-雾气	夜间	夜间-雾气

下载: 导出CSV 

| 显示表格

图  7  加雾模拟

Figure  7.  Add the fog simulation

下载: 全尺寸图片 幻灯片

由于在实验室相机摆放位置与标志物位置处于同一水平线上，无需对相机进行标定。本文两种算法识别得到的每种工况下的挠度与HG-C1030作对比求出误差。实验误差均以归一化均方根误差计算算法来衡量，具体公式如下：

2.2   数据分析

试验过程计算是在Intel Core i7-10710，CPU1.6 GHz和内存为16 GB的计算机上。实时计算挠度的速度不仅与算法、图像大小有关也与计算机的性能有很大的联系，试验采集视频都经系统预处理过滤。图8展示了两种系统算法二值化后在计算机中呈现的图像，可有效的过滤背景，实现复杂环境下的桥梁挠度识别。

图  8  系统算法二值图像

Figure  8.  Binary image of system algorithm

下载: 全尺寸图片 幻灯片

基于网络摄像机的两种系统识别算法识别结果与HG-C1030的测量结果在四种不同的工况下形状、趋势和峰值点基本一致，由于篇幅有限仅展示了工况1和工况2的识别结果，如图9所示。通过位移相应计算得到人行桥跨中自振频率，如图9中频谱分析结果所示。试验结果对比可以看出，本文提出的两种非接触式识别算法在桥梁挠度识别上的精度较高，特别在夜间环境下，处于环境条件较好的情况，主动发光的LED圆形红色光源提高了标志物的识别度，能让摄像机机迅速捕捉目标，由此两种算法在夜间的识别精度最高。当环境加入雾气干扰后，识别精度有所下降，出现部分峰值不吻合的情况，基于颜色追踪的几何匹配，由于算法对颜色敏感，识别颜色的能力较强，受到雾气的干扰较小，但是两种算法误差都未超过0.7%，满足工程实际要求。

图  9  工况1与工况2下的挠度时程和频谱

Figure  9.  Deflection time history and spectrum under working conditions 1 and 2

下载: 全尺寸图片 幻灯片

从图9可以得出基于网络摄像机系统识别算法与HG-C1030对比的挠度测量误差，如表2所示。基于HSV的快速模板匹配在工况3下的识别误差最小仅有0.53%，在工况2下的识别误差为0.62%。基于颜色追踪的几何匹配在工况3和工况4下的识别误差都小于0.60%，在工况2下的识别误差也仅有0.58%。从图9可以得出两种算法的结构自振频率识别结果与结构一阶自振频率4.00 Hz高度吻合，如表3所示，识别准确率都可达98%以上。

表  2  挠度测量误差对比

Table  2.  Deflection measurement error comparison

工况	算法
	基于HSV的 快速模板匹配/(%)	基于颜色追踪的 几何匹配/(%)
工况1	0.57	0.55
工况2	0.62	0.58
工况3	0.53	0.54
工况4	0.59	0.57

下载: 导出CSV 

| 显示表格

表  3  频谱分析结果

Table  3.  Spectrum analysis results

工况	算法
	基于HSV的 快速模板匹配(一阶)/Hz	基于颜色追踪的 几何匹配(一阶)/Hz
工况1	4.08	4.06
工况2	4.06	4.05
工况3	4.08	4.07
工况4	4.05	4.01

下载: 导出CSV 

| 显示表格

在保证算法精度的前提下，为了评价本文两种系统识别算法的实时性，与传统的模板匹配和几何匹配作对比，表4展示了本文两种系统识别算法于其它算法基于同台计算机的帧间平均匹配时间，可以看出两种算法匹配速度都优于传统算法且完全满足网络摄像机的实时要求。

表  4  平均匹配时间对比

Table  4.  Mean matching time comparison

算法	平均匹配时间/ms
模板匹配	125.26
几何匹配	46.85
基于HSV的快速模板匹配	14.13
基于颜色追踪的几何匹配	19.42

下载: 导出CSV 

| 显示表格

3   实桥测试与数据分析

3.1   实桥测试

为验证基于网络摄像机的桥梁挠度识别系统在实际情况下的有效性，将其在兰州市金城公园玻璃人行桥进行了实桥应用，该桥是桅杆式悬索桥，桥面采用钢-玻璃组合结构，主梁与次梁为国产轻型工字钢，主次梁之间采用焊接，组成钢框架，桥面采用透明玻璃铺设，均为双层夹胶钢化玻璃，全长218 m，宽2.4 m。在桥侧面跨中位置安装目标标志物(LED圆形红色光源)，距离标志物111.83 m，向下倾斜${12.89^ \circ }$的地方稳固架设了网络摄像机和桥梁挠度仪(BJQN-V，检测距离500 m内的精度为±1 mm)如图10所示。通过本文系统识别跟踪标志物的实时动态挠度，实现了对该桥的实时挠度动态监测。

图  10  现场监测

Figure  10.  Field monitoring

下载: 全尺寸图片 幻灯片

测试系统算法采用行人随机行走的方式激励桥梁振动，使用网络摄像机像素大小为$2560 \times$$1960$配合腾龙200 mm的长焦镜头进行结构振动视频的录制，相机架设在桥梁的边测，同时也架设了桥梁挠度仪与相机进行同步监测结构振动响应，两边帧率设定一致，架设位置空间间隔小，具有较高的匹配度，以此验证系统两种算法。

3.2   数据分析

本文系统与BJQN-V是两套相互独立的系统，且现场条件下难以满足用一个触发器同时启动两套系统，因此测试过程中不好控制桥梁挠度仪与相机获取数据的同步性，视频中所获取数据仅为监测段内的一部分，导致视频识别得到的振动时程曲线与桥梁挠度仪的时程曲线之间存在一定的差异，由此增加了视觉识别的难度。在现场测试时相机和长焦镜头会不可避免的受到环境气流的干扰，频谱分析中亦有强风振动和热浪为代表的噪声频率，但考虑到风致相机振动频率相对桥梁振动频率较低，两者频率并不在同一频段，且本文算法图像预处理中已对视频进行了数字稳定，因此互相干扰的影响已被降低。基于本文两种系统识别算法对金城公园玻璃桥跨中竖向挠度的监测部分结果(时域曲线、频谱分析结果)如图11所示，基于HSV的快速模板匹配与桥梁挠度仪对比的数据误差为1.78%，基于颜色追踪的几何匹配与桥梁挠度仪对比的数据误差为1.87%。由于现场环境复杂，具有很多不确定性因素，且监测距离较远，系统误差相比于实验室对比的误差有了明显的下滑，但两种算法的识别结果在时域和频域上与桥梁挠度仪基本保持一致。由时域曲线图可以看出在测试时间段内，结构竖向挠度最大幅值在9.43 mm左右，由频谱分析结果可得出结构一阶频率为0.50 Hz，二阶频率为1.08 Hz。本文两种系统识别算法识别的一阶频率与桥梁挠度仪对比误差都小于0.5%，二阶频率与桥梁挠度仪对比误差都小于1.7%。由此说明利用本文两种系统识别算法进行桥梁挠度实时监测具有较高的识别精度，满足工程实际需求。

图  11  实桥测量结果

Figure  11.  Measurement results of real bridge

下载: 全尺寸图片 幻灯片

值得关注的是，不管是本文系统还是BJQN-V都仅对桥梁低阶频率有较高的识别精度，由于环境扰流、风振等因素导致高阶频率在频谱图中的幅值较低、能量较小。因此，不能明确高阶频率的阶次和大小。这个问题将是未来研究结构健康监测的难点和重点。

4   结论

本文基于网络摄像机建立了一种桥梁挠度非接触识别系统，其系统操作简单，计算机与识别目标、计算机与网络摄像机之间都无需布线，具有非接触识别的特点，总结如下：

(1)通过模型试验和实桥测试验证了本文系统进行桥梁挠度识别的可行性，识别精度的可靠性，环境干扰的高抗性。在未来的监测过程中，应考虑两种系统识别算法的特点和监测距离，选择合适的算法。

(2)系统以LED光源作为标志物，配合提出的两种系统识别算法，对图像进行二值处理，其中基于HSV的快速模板匹配，引入了HSV颜色分割LED光源，基于颜色追踪的几何匹配，引入颜色追踪(cvCamShift)，并对图像目标区域进行锁定，缩小搜索范围，可以有效提高抗噪性和计算实时运算速度，基于HSV的快速模板匹配最快匹配速度可达70.77 fps，基于颜色追踪的几何匹配计算速度为51.49 fps，都满足网络摄像机的监测要求。

(3)通过模型试验和实桥测试得出基于HSV的快速模板匹配在计算速度和远距离识别方面优于基于颜色追踪的几何匹配；而在识别精度和抗噪性能上，基于颜色追踪的几何匹配优于基于HSV的快速模板匹配。两种算法在模型试验中的识别误差都小于0.70%，实桥测试下的识别误差也小于1.90%。