科研成果详情

本发明涉及基于深度学习与一致性表达空间学习的跨媒体检索方法,针对图像与文本两种模态的跨媒体信息,从特征的选择及高度异构的两个特征空间的相似性估算这两个方法上入手,提出一个能教大幅度提高多媒体检索准确率的跨媒体检索方法。本发明所述的方法是一种针对图像与文本两种模态的多媒体信息相互检索方法,实现跨媒体检索准确率的较大幅度提高。本发明提出的模型中,采用经调整过的向量内积作为相似度度量算法,不仅考虑了两种不同模态特征向量的方向,而且在中心化后消除了指标量纲的影响,将向量中的每个元素减去元素的平均值,再计算去均值后的两个向量的相关性；能计算得到更为准确的相似度。

主权项：

1.一种基于深度学习与一致性表达空间学习的跨媒体检索方法,其特征在于,步骤如下：1)获取图像数据和文本数据后,分别提取图像特征I和文本特征T,得到图像特征空间及文本特征空间2)将图像特征空间映射到一个新的图像特征空间U^I,将文本特征空间映射到一个新的文本特征空间U^T,新的图像特征空间U^I与新的文本特征空间U^T是同构的；3)在新的图像特征空间U^I与文本特征空间U^T中寻找一致性表达空间U；4)在图像搜索文本模式中：估算查询图像与每个文本特征在一致性表达空间U中的关联度,按照关联度从大到小返回结果；在文本搜索图像模式中：估算查询文本与每个图像特征在一致性表达空间U中的关联度,按照关联度从大到小返回给用户；步骤4)中,采用中心相关性算法计算不同模态信息在一致性表达空间U中的距离,进而估算图像与文本的关联度,具体如下：采用的距离度量方法是经修正调整后的中心相关性：  其中,m＝n,m和n分别是向量x_i与y_j的长度；用相关性的负数表示向量x_i与y_j的距离,相关性越大,距离d_ij越小。