科研成果详情

本发明的一种基于深度学习与局部特征融合的哈希图像检索方法,所述方法包括五个部分:(1)图像的预处理；(2)用卷积神经网络对含有分类标签的图像进行训练；(3)用二值化方式生成图像的哈希码并提取1024维浮点型局部聚合向量；(4)用哈希码进行粗检索；(5)用局部聚合向量进行精检索。本发明的一种基于深度学习与局部特征融合的哈希图像检索方法提取两种特征后用近似最近邻搜索策略来进行图像检索,检索精确度高、检索速度快。

主权项：

1.一种基于深度学习与局部特征融合的哈希图像检索方法,其特征在于,包括如下步骤：1)将输入的图像进行预处理,依次对每张图像进行去均值化、裁剪和镜像；2)将预处理后的图像构建成三元组的形式输入到深度卷积网络进行训练；3)将深度卷积网络GoogLeNet中inception 4b层、inception 4e层和inception 5b层输出的特征图分别进行最大值池化和卷积处理,然后使用合并层将处理后的特征图进行拼接；4)将合并层输出的特征图进行卷积核大小为1×1的卷积操作,得到大小为128×5×5的特征图；5)将1×1卷积操作后的特征图进行总和池化处理,并将128个特征图连接成一个128维的向量,向量每个维度上的值对应单个特征图的所有元素总和值；6)将输出的大小为128×1×1的特征图经过一个结点个数为1024的全连接层映射,得到1个1024维的局部聚合向量；7)将得到的局部聚合向量输入到哈希映射层,并利用感知哈希算法计算得到哈希码；8)将得到的局部聚合向量进行L2范数归一化,归一化后的向量使用三元组损失形成约束优化,并与交叉熵损失函数同时进行训练；9)对检索图像进行步骤1)～步骤8)的处理,将步骤7)中计算得到的检索图像的哈希码与图像数据库中已存储的多张图像的哈希码进行比对,找出哈希码相同或相近的图像进行粗检索；10)利用步骤6)获得的检索图像的局部聚合向量进行精检索并重排,最终返回重排结果；步骤1)中所述预处理,包括：将输入的图像重置大小为256×256,对每一个图像进行裁剪,裁剪的是图片中央、4个角以及镜像共10张图片并去均值化,依次处理所有输入的训练图像,从而得到的每一个图像大小为224×224；步骤2)中所述构建三元组的形式,包括：从训练数据集中随机选一个样本锚点；随机选取一个和锚点属于同一类的正样本和不同类的负样本,构成三元组；对应的损失函数L表示为：  其中,和分别表示锚点、正样本和负样本的特征向量；N表示网络训练的批大小；+表示括号内式子的值大于零的时候取该值为损失,反之则损失为零；α表示为可接受的不同类样本间的距离间隔；步骤3)中,将GoogLeNet模型中的inception 4b、inception 4e和inception 5b输出的特征图进行最大值池化和卷积处理后,分别得到3个尺度为256×5×5的特征图,采用合并层对这些特征图进行合并,生成大小为768×5×5的特征图；步骤5)中,所述将1×1卷积操作后的特征图进行总和池化处理,其表达式如下：  其中,H和W分别为特征图的高度与宽度,x、y为特征图的空间坐标,I是输入的特征图,则f(x,y)表示特征图I上对应点(x,y)的值,总和池化实际上是对得到的每一个特征图I进行累加求和,如果有n个特征图,最终生成一个n×1×1的特征向量；步骤7)中,所述利用感知哈希算法计算得到哈希码,包括：定义哈希映射层的输出特征向量V(v₁,v₂,...,v_m),通过均值感知哈希算法计算阈值得到二进制哈希码特征向量H(h₁,h₂,...,h_m),表示式如下：  其中,1≤j≤m；m表示哈希映射层的输出特征向量个数及对应的哈希码特征向量个数；步骤8)中,所述将得到的局部聚合向量进行L2范数归一化,包括：定义局部聚合向量Y(y₁,y₂,...,y_p),将归一化后的向量表示为Y′(y′₁,y′₂,...,y′_p),归一化操作的表达式如下：  其中,1≤k≤p；p表示局部聚合向量个数；步骤9)中,在粗检索阶段,利用二进制哈希码计算检索图像与存储的多张图像的相似度时使用汉明距离,将汉明距离低于阈值的图像归到一个哈希桶里面；步骤10)中,在精检索阶段,将哈希桶内所有图像的高维局部聚合向量提取出来；计算检索图像的局部聚合向量Y与哈希桶内所有图像的欧氏距离Dist_i,表示为：Dist_i＝||Y-Y_i^K||其中K表示返回给用户的图像个数,Y_i表示哈希桶内前K个图像特征的局部聚合向量,最后对距离Dist_i进行升序重排,返回的前K个图像即为检索结果。