02 现在的位置:首页 > 期刊导读 > 2020 > 02 >

基于结构保持对抗网络的跨模态实体分辨

【作者】吕国俊 曹建军 郑奇斌 常宸 翁年凤

【关键词】 数据质量 跨模态实体分辨 无监督学习 对抗学习 K近邻 联合注意力

摘要跨模态实体分辨旨在从不同模态的数据中找到对同一实体的不同客观描述.常用的跨模态实体分辨方法通过将不同模态数据映射到同一空间中进行相似性度量,大多通过使用类别信息建立映射前后的语义联系,却忽略了对跨模态成对样本信息的有效利用.在真实数据源中,给大量的数据进行标注耗时费力,难以获得足够的标签数据来完成监督学习.对此,提出一种基于结构保持的对抗网络跨模态实体分辨方法(Structure Maintenance based Adversarial Network,SMAN),在对抗网络模型下构建模态间的K近邻结构损失,利用模态间成对信息在映射前后的结构保持学习更一致的表示,引入联合注意力机制实现模态间成对样本信息的对齐.实验结果表明,在不同数据集上,SMAN和其他无监督方法和一些典型的有监督方法相比有更好的性能.

上一篇:改进模糊聚类在医疗卫生数据的Takagi-Sugeno模糊模型
下一篇:BATS:异构系统环境下的任务调度节能方法

版权所有:《南京大学学报(自然科学版)》 苏ICP备10085945号
地址:江苏省南京市鼓楼区汉口路22号,《南京大学学报》编辑部,210093