1、Background
1.1、Task
Person Search:在一个完全无约束的场景图像库中定位与query person匹配的目标。
1.2、Problem
首先，作者坚信两点：
- detection和Re-id需要被实现在同一个优化框架下。
- 行人搜索需要充分地利用query image（尤其是query部分）的信息。
其次，People Search经典的方法是将该问题分为Detection和Re-id两部分考虑，并通过分开的监督网络逐个解决。而作者提出的QEEPS是第一个端到端的query引导的Detection和Re-id网络。
最后，该论文Related Work部分主要从Person Detection、Person Re-Identification、End-to-End Person Search、Query-guided person search四部分进行介绍，提到了这四个方面里一些比较经典的工作，例如Faster R-CNN、手工特征设计、度量学习、OIM等。
2、Motivation
- 在一张图像里搜索一个人，需要看重行人衣服的颜色、纹理等特别的部分。
- Detection和Re-id两部分需要在一个共同优化框架内。
3、Method
三个子网络：
- QSSE-Net:a Query-guided Siamese Squeeze-and-Excitation Network
利用query和图像集图像中的全局上下文信息来给特征通道分配权重。 - QRPN:a Query-guided Region Proposal Network（局部）
利用query-ROI-Pooled特征来强调图像集图像中的判别模式来产生相关的proposals。 - QSimNet:a Query-guided Similarity Network （局部）
计算query和图像集图像里裁剪特征的Re-id得分。
3.1、Query-guided Siamese Squeeze-and-Excitation Network $(QSSE-Net)$
利用query和图像集图像中的全局上下文信息，计算出一个权重向量，并为特征图每个通道分配权重。
Squeeze操作：通过全局平均池压缩query和图像集的每个C通道的空间信息。
Excitation操作：应用两个全连接层的和S函数，为特征图每个通道分配权重。
它应用squeeze-and-Excitation操作，考虑到网络内通道的依赖性和网络间通道的相似性，重新校准query和图库图像通道权重。
3.2、Query-guided RPN $(QRPN)$
QRPN：query引导的逐通道的attention机制、一个标准RPN。提取具有与query相似性分数的proposal框。
ROI Pool：池化query裁剪特征，对池化后特征图的所有通道和像素应用FC1层，再应用excitations到图库图像特征。
FC1层：压缩特征。
FC2层：扩展特征。
FC1层和FC2层的作用：强调重要的信号关联信息。
3.3 Query-guided Similarity Net $(QSimNet)$
将query中的Re-Id特征与gallery里图像块对比。
Re-Id特征的L2距离（逐元素的相减和平方）。
在推理阶段，为了query在gallery中的最终匹配图像，对该输出分数执行非极大值抑制（NMS）。
3.4 End-to-end Joint Optimization
$$L=\lambda_1L_{cls}+\lambda_2L_{reg}+\lambda_3L_{rpn_o}+\lambda_4L_{rpn_r}+\lambda_{5}L_{oim}+\lambda_6L{qrpn}+\lambda_7L_{sim}$$
$$L_{qrpn}=-\frac{1}{N}\sum_{N}\log(p_n^u)$$
4、Experiments
4.1、Ablation Study
5、Main contribution
1、引入了第一个query引导的端到端的网络$(QEEPS)$。
2、提出了一个query引导的Siamese squeeze-and-excitation$(QSSE)$模块（对query和图像库图像对之间的相似性建模）。
3、定义一个新的query引导的$(QRPN)$，将SE-Net扩展到query通道和空间通道。
4、定义了一个新的QSimNet，学习query引导的Re-Id分数。
“这一生志愿只要平凡快乐、谁说这样不伟大呢。”
——五月天《笑忘歌》
