动物通常群居，并表现出复杂的社会互动行为，这些行为受其栖息的环境条件和附近个体的社会关系的影响^[1]。动物行为的精确量化对许多领域都至关重要，如人种学、神经科学和心理学（自闭症^[2]、压力^[3-4]、神经疾病^[5-6]、创伤后应激障碍^[7]等）。人们通常建造迷宫和搭建成像系统，将动物饲养在受控环境中，并人为干预鼠类的生理状态，以实现对某些特定疾病的研究^[8-10]。一些研究团队已经开发出多种定量行为分析系统：基于计算机视觉的成像系统^[11]，利用声波和光源刺激笼子里的大鼠，记录它们的日常活动和伸展姿势，以研究阿尔茨海默病；基于射频识别（radio frequency identification，RFID）的芯片追踪系统^[12]模拟构建了一个复杂的半自然环境，通过实验场地下天线阵列将射频识别微芯片植入大鼠皮下，以获取大鼠的位置；适用于狨猴、斑马鱼和大鼠实验动物的多相机姿势估计系统^[13]，通过高分辨率相机采集动物图像，并识别脊椎骨、关节、爪子和身体其他部位的特征点；部分团队应用多相机协同技术于动物追踪，如基于多相机阵列的动物追踪实验^[14]，针对苍蝇、斑马鱼、蠕虫等小型生物的行为分析，研究野生分离株的行为变异性、蠕虫疾病模型的表型以及蠕虫对药物治疗的行为反应；基于深度学习的无标记动作捕捉系统^[15]，其利用多台视觉相机对猕猴姿势进行估计，生成多视图视频流对猕猴自然运动进行推断，但该类型的多相机协同技术无法在复杂开放环境中对高速移动的目标进行精确追踪。此外，随着运动检测、特征提取和物体建模技术的进步，多相机追踪方案得到了广泛应用^[16-21]。一些研究团队提出了诸多方法，以减少复杂环境中因遮挡造成的误差。这些方案通过关联相机网络的时间和位置信息，迭代匹配摄像机之间的短轨迹^[22]，以重建全局轨迹。贪婪匹配或分层聚类方法^[23]用于缩小搜索空间，提高匹配效率。此外，在匹配过程中还开发了利用相机拓扑结构^[24]完成候选剪枝和自适应属性选择^[25]等机制。最后，使用传统和特定指标对多相机网络的追踪性能进行了评估^[26-31]。然而，这些成像系统仍有许多限制：如果使用无标签视觉追踪方案，则要求成像设备具有超高分辨率和超快采样频率，并对图像处理模块（graphics processing unit，GPU）造成巨大负荷^[32-33]。在复杂场景中以一致的时空精度追踪大鼠并在多台相机上保持身份（ID）仍然是一大挑战^[34]；另一方面，如果使用RFID芯片追踪方案，则需要对动物进行特定手术，而侵入性手术会影响动物的社会行为，同时RFID的空间精度也会受到限制^[35]。

为此，本文提出了一种多相机协同系统，用于分析大鼠在复杂环境中的行为。该系统采用级联神经网络来识别大鼠个体，并追踪它们在重叠监控区域内的行动。目标区域被分割成与每个摄像头相对应的若干子区域，并使用匈牙利算法实现数据关联。通过时间相关法对单个摄像头的轨迹进行匹配，从而获得全局轨迹。通过透视变换将轨迹映射到实验场景的俯视图上。然后整合来自多个摄像机的数据，利用定量分析方法对大鼠行为进行分析。采用了多摄像头、无标签视觉追踪方案，减少对大鼠自然行为的干扰。这种方法不仅能确保行为的完整性，还能在复杂环境中实现精确追踪。总之，该系统有效克服了单摄像头视野的限制和物体遮挡的挑战。它能够在复杂而广阔的环境中对远距离移动目标进行连续追踪。

1 实验原理与结果 1.1 多相机协同的行为分析系统

为了分析大鼠在人类居住或实验室环境中的行为轨迹，开发了一套多相机协同的行为分析系统，可实现啮齿类动物及其他社会性物种在动态社会环境中的自发交互行为自动化解析。因此，将该系统称为多相机协同追踪系统。

如图1所示，在实验场的多个角落安装了红外摄像机，以从不同角度监测大鼠全天的行为。首先，将大鼠活动的视频保存到本地计算机中，使用级联神经网络进行目标识别。然后，创建事件列表，记录测试结果，包括摄像头ID、大鼠数量、记录时间、测试坐标等。在保存视频的同时，根据测量数据使用Inventor软件对实验场地的地图进行建模。在场景模型上确定摄像机监测区域，并筛选出摄像机之间的重叠区域，以避免数据重复。通过空间投影确定摄像机坐标与实验场景坐标之间的映射关系。结合事件列表和映射关系，生成实验场景中大鼠的时空数据集。最后，使用Python和MATLAB软件对数据进行处理，生成大鼠分布热力图、活动轨迹图和活动概率密度数据。

1.2 根据多角度视图映射场景图

为了在场景模型中绘制啮齿动物的行为轨迹，必须将图像中的监测区域映射到俯视场景中。首先，为构建的T型实验场地建立了一个三维模型，并标注了摄像机位置、拍摄方向等（图2（a）和图2（b））；然后使用透视变换方案进行坐标变换；接着，需要在视频图像和目标区域中选择4~8个对应的特征点，选择的特征点应尽可能靠近监控区域的边缘拐点（图2（c））。根据两组坐标，视频图像坐标（X、Y）和目标区域坐标（X、Y、Z），计算变换矩阵T，然后根据变换矩阵将图像映射到新的视图平面。为了避免视场盲区，确保监控覆盖整个实验场景，布置多个摄像头，这将导致多个监控摄像头的区域重叠。透视变换后，首先对变换后的坐标进行筛除，然后自动检测变换坐标矩阵中是否存在重复坐标，并删除重复坐标。如图2（d）所示，经过透视变换和去除监控重叠区域后，4个摄像头的监控区域被拼接在一起。

1.3 时空关联的目标追踪技术

由于单摄像头的视野限制，基于单摄像头的多目标追踪系统很难精确追踪多个目标。除了物体遮挡和外观模糊之外，监控盲点也会影响追踪性能。为了克服单摄像头追踪的缺点，提出了一种基于时间相关性的多相机目标追踪技术。

在多摄像头网络中为每个目标生成完整的全局轨迹，主要包括两个阶段。第一阶段是在单个摄像头内生成局部轨迹，主要依靠级联神经网络生成。第二阶段是跨摄像头轨迹匹配，为每个目标生成完整的轨迹，轨迹是否匹配取决于检测时间间隔、欧氏距离以及相邻摄像头之间的外观相似度（公式1）。

如图3所示，Cam1和Cam2记录了一只大鼠在场景中的活动轨迹。T0时刻大鼠进入 Cam1的监控区域。T1时刻大鼠离开Cam1监控区域，进入监控盲区。T2时刻大鼠再次出现在Cam2监控区域，T3时刻大鼠离开Cam2监控区域。通过计算时间间隔和空间位移来估计大鼠的位置。如果T2和T3之间的时间间隔τ小于τ_t1，且两只大鼠之间的欧氏距离x小于x_t，则认为这两个摄像头轨迹属于同一只大鼠。在这种情况下，匹配会将Cam1和Cam2中的轨迹连接起来。如果时间间隔τ大于τ_t1但小于τ_t2，且欧氏距离x仍小于x_t，判断为同一只大鼠，并认为其在该时间间隔内一直处于监控盲区。如果时间间隔τ大于τ_t2，则判定系统已失去追踪目标。

根据上述判断方法，Cam2和Cam3记录了从15:30开始的大鼠活动轨迹追踪（图4）。15:00时观察到大鼠沿着墙壁向角落移动，15:31时从监测区域消失，15:33时再次出现在Cam3的视野内。消失持续了2s，欧氏距离接近200，可以确定Cam2和Cam3监测到的大鼠是同一只大鼠，它在15:31~15:33出现在监测盲点（图3空白区域）。最终，在绘制的场景图中描绘了大鼠的轨迹，估计并补充了盲点中的轨迹。

$\left\{ \begin{split}& Match=\left(\tau {{＜}} {\tau }_{t1}\right)\cap \left(x{{＜}} {x}_{t}\right)\\& Match{=(\tau }_{t1}{{＜}} \tau {{＜}} {\tau }_{t2})\cap (x{{＜}} {x}_{t})\\& Lost=\left({\tau }_{t2}{{＜}} \tau \right)\cup \left(x{{{＞}} x}_{t}\right) \end{split}\right. $

(1)

1.4 交织运动追踪算法

当系统执行大鼠追踪时，交织运动会导致轨迹匹配错误。为解决这个问题，引入了一种最大化交并比（intersection over union，IoU）的方法。如图5所示，当两只具有相似外观特征的大鼠交织运动时，会导致身份识别错误。因此，在摄像机帧数充足的状态下，假定第一帧中检测到的所有大鼠已分配了身份，而下一帧中的大鼠只显示边界框，但无法确定身份信息。第一帧中第K个边界框（Bbox）与下一帧中每个边界框的BboxN之间的IoU表示为V_ki，其中i表示第二帧的目标。V_ki的值越接近1，表示身份之间的匹配度越高。最后，用匈牙利匹配法解决交织后为大鼠分配身份ID的问题。身份成本矩阵用1-iou表示，并对成本矩阵进行归一化处理，以找到全局最优匹配方案，确保整体最优匹配。2号摄像机记录了两只大鼠交织在一起的运动，这可能会导致追踪过程中的身份转换，或在识别追踪目标时出现错误，从而导致追踪目标丢失。为了确保追踪轨迹的完整性，采用了图5所示的匹配方案。两个连续帧之间ID的配对由总IoU最大化的方法决定。交织在一起的大鼠的追踪结果如图6所示，可以清楚地观察到两只大鼠不同的行为轨迹。

1.5 大鼠行为的定量统计分析

利用多相机协同追踪系统对大鼠在T型迷宫中的行为进行了定量分析。在实验场景中放置了3只白色大鼠，并监测大鼠在24 h内出现在水源和木箱附近的概率（图7（a））。直方图表示每小时出现的大鼠数量占24 h内记录的总出现次数的百分比。大鼠最有可能出现在水源区的时间段是13:00至18:00，14:00时大鼠出现的概率约为24%。在6:00、18:00和24:00大鼠出现在木箱附近的概率最大。总结了24 h内大鼠的活动位置，然后将数据区域划分为10×10像素的网格，网格单元中的数据点数量用渐变色表示，最后统计出大鼠活动密度热图（图7（b））。Cam2和Cam3摄像机记录了两只大鼠在20 min内的活动轨迹（图7（c）），然后利用透视变换方案将轨迹映射到场景的俯视图上（图7（d））。从图中可以看出，大鼠习惯靠墙行走，并经常在水源、木箱和聚氯乙烯（PVC）管道中活动，有意识地避免在空旷区域活动。该系统可以针对于一定数量大鼠进行多目标追踪，并且可以通过增加分布式监控节点的方式提高检测追踪数量。在数据分析阶段，制定行为量化标准可实现特定行为的大鼠追踪行为，如根据大鼠位置距离、特定移动轨迹、瞬时速度变化，对追逐、跳跃、探索等行为追踪。最后，通过本文介绍的定量分析方法，可以观察大鼠活动频繁的区域，分析大鼠的行为，评估环境变化对大鼠的影响，从而有效预防和控制鼠患。

2 实验方法和分析 2.1 多相机系统

多相机系统由4台4 inch（1inch = 2.54 cm）摄像头（承川）和一套多摄像头同步记录软件程序组成。摄像机的分辨率为2 560×1 920像素。摄像机的镜头焦距为2.8 mm。摄像机外壳由黑色防水材料制成，尺寸为60 cm×60 cm×50 cm。4台摄像机分别放置在实验场景的4个角落。装有同步记录软件的计算机通过6端口以太网交换机与4台摄像机相连，以实现视频记录和设置摄像机参数。

在大鼠监控过程中，为避免监控盲区和障碍物影响大鼠活动视频的捕捉，应遵循以下摄像机安装指南

1）摄像机安装在室内2.5～3.5 m、室外4～5 m的高度处。

2）相邻摄像机的视野可重叠30%～40%，从而减少监控盲区并覆盖整个区域。

3）相机安装在墙上或坚固的物体上，以防止相机晃动。

4）避免光线直射摄像机，从光源位置对准目标，如果需要背光照明，应降低监控区域的对比度。

5）利用补光灯进行夜间监控，减少图像噪点，增强成像效果。

6）根据大鼠的行为习惯，在特定区域安装摄像头，例如下水道出口、厨房架子、面粉围边、通风管道入口。

2.2 实验场景

实验场景包括一个用木板搭建的大型T型实验场景（长×宽×高，6.8 m×4.5 m×1.5 m）。场景顶部用铁丝网覆盖，以防止大鼠逃跑。底部铺设了黄色红木地板。现场放置了水、食物、木箱、PVC管和桌子，以模拟人类的栖息地。4个摄像头安装在场馆的四角，尽量避免监控盲区。此外，还在纸箱中放入木屑和纸屑，作为大鼠的睡窝，让大鼠在探索区和睡窝之间自由活动。最后，使用监控摄像机记录了大鼠在48 h内的行为，并通过数据分析模块对数据进行了分析。

2.3 大鼠识别和追踪算法

多相机协同追踪系统利用级联追踪网络对大鼠进行定位追踪。该网络主要由探测器和追踪器组成。这种方法使系统能够在长时间遮挡和运动估计失败的情况下保持追踪。监测数据输入多相机头协同追踪系统后，首先由探测器进行识别。使用名为Yolov5的单级物体检测器（https://github.com/-ultralytics/Yolov5）。使用神经网络对原始数据进行识别训练，选择的模型是Yolov5s。与其他版本的模型相比，该检测器具有更快的检测性能和更小的网络结构，Yolov5s基于并行处理模块，在多计算单元上可以并行处理视频图像，具备更快地推理速度。而且通过可分离卷积和MobileNetV3模块减少冗余，轻量化设计网络模块。检测器主要由4个部分组成：输入、骨干、颈部、头部。首先，在输入阶段使用马赛克库进行图像增强，对图像进行翻转、平移、裁剪和拼接，从而丰富检测数据集，提高网络鲁棒性。其次，对图像进行自适应的大小调整和归一化处理，以方便下一步的卷积运算。在该网络中，大小为2560×1920×3的图像被调整为640×640×3。然后，在骨干部分通过卷积、BatchNorm、激活函数等操作提取图像的不同特征。随后，在颈部进行多尺度特征融合。在FPN+PAN网络结构中，上层特征图网络层数较深，语义信息较强，下层特征图网络层数较少，位置信息较强。特征融合确保了对不同尺寸图像的准确预测。最后，“头部”部分对图像进行最终目标检测。检测阶段包括3个特征图，大小分别为76×76×255、38×38×255、19×19×255，用于检测不同大小的目标。本系统基于GPU高速处理，平均每45 ms对2560×1920图像进行检测处理，获得目标的位置和身份信息，将信息传递给追踪器。

当监控环境发生变化或大鼠的身体部分被遮挡时，仅依靠探测器可能会导致短期故障和误报，从而导致识别错误和追踪不准确。因此，本文将Deepsort跟踪器（https://github.com/Sharpiless/Yolov5-Deepsort）与Yolov5探测器相结合，对大鼠的行为进行24 h的监控。参数设置如表1所示。Deepsort可以在相邻帧之间有效地追踪大鼠，在帧数足够多的条件下，发现相邻帧之间使用IoU匹配规则效果更好，而且避免了卡尔曼估计带来的ID频繁切换的问题，因此在可以识别连续帧的条件下，分别比较第N帧和第N+1帧检测到的识别帧之间的IoU，然后使用匈牙利算法进行ID分配，通过这种方法保证了追踪的准确性。但在实际测试中，大鼠的瞬时遮挡和识别失败都会导致轨迹丢失的出现。Deepsort算法^[31]还用于通过卡尔曼滤波预测其确定轨迹和不确定轨迹对应的帧。卡尔曼滤波算法通过预测和更新两个阶段来估计目标状态，这两个阶段串联确定轨道和不确定轨道。卡尔曼滤波器预测目标后，使用匈牙利算法计算预测目标与当前帧目标检测结果之间的相似度得分。它们的相似度主要由式（2）和式（4）中的马哈拉诺比斯距离和余弦距离决定。

$ {d}^{\left(1\right)}\left(i,j\right)={{{\left({d}_{j}-{y}_{i}\right)}^{\text{T}}}S}_{i}^{-1}\left({d}_{j}-{y}_{i}\right) $

(2)

式中：d_j表示第j个探测帧的位置；y_i表示第i个跟踪器相对于目标的预测位置；S_i表示探测位置与跟踪位置之间的协方差矩阵。计算Mahalanobis距离可以估计和预测状态测量的不确定性。为Mahalanobis距离设置了一个阈值。如式（3）所示，两个目标的距离小于该阈值t^（1）时，它们被关联起来。

$ {{{b}_{i,j}}}^{\left(1\right)}=\prod\left[{d}^{\left(1\right)}\left(i,j\right){{≤}} {t}^{\left(1\right)}\right] $

(3)

然而，当运动的不确定性增加时，例如大鼠运动速率突变或存在遮挡时，马氏距离度量的准确性就会降低。为克服卡尔曼滤波算法对图像运动状态的粗略预测，Deepsort引入了基于余弦距离的第二种相关方法，如式（4）所示。

$ {d}^{\left(2\right)}\left(i,j\right)=\min \left\{1-{{{r}_{j}}}^{\text{T}}{{{r}_{k}}}^{\left(i\right)}|{{{r}_{k}}}^{\left(i\right)}\in{R}_{i}\right\}$

(4)

式中：R_i为深度学习模型计算出的特征向量；r_k^（i）为外观描述特征集；r_j^Tr_k^（i）为计算第j个检测结果与第i个目标之间的相似度。计算余弦距离后，选择所有余弦距离的最小值作为当前检测结果与相应跟踪器之间的相关性度量。如果最小余弦距离小于预设阈值，则认为当前检测结果与该追踪器的目标相同。

$ {c}_{i,j}=\alpha {d}^{\left(1\right)}\left(i,j\right)+(1-\alpha {)d}^{\left(2\right)}\left(i,j\right) $

(5)

为了提高追踪的准确性和稳定性，对d^（1）和d^（2）进行线性加权，形成c_i,j，以确定目标是否相关联，见式（5）。

2.4 多相机协同系统性能评估

多目标的追踪任务对系统性能有很高的要求，因为它们的行为灵活、互动模式复杂，而且在监测大鼠时还会遇到光线变化、遮挡、跳帧等问题。使用指标来评估多相机协同追踪系统的检测和追踪性能，确保系统性能的完整性。

$ Precision=\frac{TP}{TP+FP} $

(6)

$ Recall=\frac{TP}{TP+FN} $

(7)

$ mAP=\frac{1}{N}\sum\limits_{k=i}^{N}\int\limits_{0}^{1}P\left(R\right)\text{d}r $

(8)

$ MOTA=1-\frac{{\displaystyle\sum}_{t}\left({m}_{t}+{fp}_{t}+mm{e}_{t}\right)}{{\displaystyle\sum}_{t}{g}_{t}} $

(9)

本研究采用传统的评估指标，即平均精确度（mAP）、精确度（Precision）、召回率（Recall）和MOTA。Recall表示正确预测大鼠的比例。精确度是正确预测为大鼠的样本比例。MOTA衡量多目标追踪的准确性。在式（6）和（7）中，TP表示正确识别的大鼠数量，FP表示被错误识别为大鼠的图像区域数量，FN表示模型未识别的大鼠数量。在式（8）中，P（R）代表精确度−召回曲线的精确度值。在式（9）中，m_t代表T帧中漏匹配的大鼠数量，fp_t是假阳性的数量，mme_t代表T帧中错误匹配的数量，g_t代表正确监测到的数量。实验结果表明，本文提出的算法可以使精确度、召回率、mAP、MOTA分别达到93.17%、91.87%、93.42%和93.20%。

由于大鼠具有动作灵敏度高、喜欢躲在角落、有追逐行为等特点，除了使用传统指标来评估追踪系统外，还开发了一套专门针对大鼠追踪的指标。

首先，选取了一段15 s的大鼠活动视频，手动标注了大鼠在每一帧中的位置，并将信息保存在txt文件中，同时将这些信息保存在多摄像头协同追踪系统中进行位置对比。根据式（10）中的方案，计算出每帧之间的位置偏差。同时，还引入了加速度偏差，以考虑大鼠的速度突变。如果在追踪过程中出现丢帧现象，则采用线性插值法对丢失的帧进行补偿。最后，对位置偏差PD和加速度偏差AD进行加权和归一化处理

$ PD=\frac{\displaystyle\sum\limits_{i=1}^n\sqrt{\left(s_{xi}-T_{xi}\right)^2+\left(s_{yi}-T_{yi}\right)^2}}{n*\mathrm{max}\sqrt{\left(s_{xi}-T_{xi}\right)^2+\left(s_{yi}-T_{yi}\right)^2}} $

(10)

$ AD=\frac{\displaystyle\sum\limits_{i=1}^{n-2}\left|\left|{{\boldsymbol{A}}_{Si}}-{{\boldsymbol{A}}_{Ti}}\right|\right|}{\left(n-2\right)*\mathrm{max}\left|\left|{{\boldsymbol{A}}_{Si}}-{{\boldsymbol{A}}_{Ti}}\right|\right|} $

(11)

式中：s_xi、s_yi、T_xi、T_yi表示系统获取的第i帧的x坐标和y坐标，以及人工标注的第i帧的x坐标和y坐标；A_Si和A_Ti表示系统获取并人工标注的第i帧加速度。计算得到最终评估指标接近0，这表明系统具有出色的追踪性能。

本系统的级联神经网络依旧存在一定不足。其一，在复杂场景中进行多目标追踪时，若目标数量急增、交互更加频繁时，可能会存在身份切换错误的情况。其二，本文的多相机系统未对复杂交互活动进行定义，无法实时判断大鼠部分社会交互行为。针对于上述问题，在后续系统研究中可以进行一定优化。首先增加基于注意力门控机制的多尺度融合模块，帮助系统对多目标进行长期身份维护，其次根据大鼠的移动轨迹、间隔距离，对大鼠复杂个体行为或交互性进行量化分析。

3 结　论

为了应对在复杂场景（如啮齿动物灵活的身体和密切的互动）中定量分析大鼠行为的挑战，开发了一种基于神经网络和多相机图像融合技术的大鼠行为分析系统。该系统利用Yolov5识别网络识别大鼠位置，然后将其传递给Deepsort追踪算法，以追踪单只大鼠。此外，还采用了多摄像头图像融合技术进行轨迹拼接，利用透视变换、时间相关性和摄像头重叠区域筛选将轨迹映射到实验俯视图上。最后，利用多相机协同系统对大鼠行为进行定量分析。

在多目标追踪中，单台摄像机的视野限制导致监控场景中存在多个盲点。此外，动物穿越和遮挡场景也会造成追踪失败，导致社交互动过程中关键信息的丢失和高识别错误风险^[36]。多相机协同系统可解决这些问题，并可通过调整摄像头数量来适应复杂场景中的多目标追踪任务，具有极佳的可扩展性。该系统还采用了重叠区域筛选技术，以防止信息重复。

与其他系统相比，某些现有系统仍然依赖传统的图像处理技术来进行目标追踪。然而，这些方法极易受到动物及其环境变化的影响，如光照变化、复杂的相互作用和遮挡。相比之下，多相机追踪系统能够检测复杂环境中的动物，同时只需要少量的训练数据，因此大大减少了数据集的人工标注。该系统具备空间互补和多角度验证的方法，多相机数据融合抑制无关噪声干扰，剔除异常检测框。并且针对高速运动的目标，具备一定程度的运动补偿能力，即使在低帧频条件下，这些系统也能表现出较高的检测速度和稳定的追踪性能，并能有效追踪复杂的动物互动行为。

多相机协同系统存在一些局限性：一方面，在追踪工作之前需要对复杂场景进行建模，这项工作需要对场景进行测量，数据量大，计算复杂，而且模型数据不足，会导致追踪精度降低；另一方面，目前还缺乏用于动物识别的身份维护方法^[37]。动物之间的互动更加密切和频繁时，身份转换错误的概率就会增加，从而导致额外的人工校正任务。后续工作中，可以增加注意力机制、多尺度融合模块、引入一定的惩戒函数，提高系统的目标追踪能力，减少系统计算负担，使识别追踪模型更加具备轻量化。

总之，多相机协同系统具有很强的适应性，可应用于各种复杂环境，包括隐蔽区域或孤立的密闭空间。该系统能以最低的数据要求实现高效追踪，并且不会干扰大鼠的自然社交行为，因此对心理和神经疾病以及许多其他疾病的研究具有重要价值。