学术文化
当前位置: 首页 >> 学术文化 >> 正文

山东建筑大学作为通讯作者单位荣获CCF A类会议SIGIR 2021最佳学生论文奖

发布日期:2021-07-17   点击量:   作者:徐遵义   来源:计算机科学与技术学院

7月14日,第44届国际计算机学会信息检索大会(The 44th InternationalACM SIGIRConference on Research and Development in Information Retrieval,SIGIR2021)正式发布了最佳论文、最佳学生论文、时间检验奖、最佳短论文等多项大奖。我校计算机科学与技术学院刘萌教授(第二作者和通讯作者)与山东大学计算机科学与技术学院聂礼强教授联合指导研究生曲磊钢提交的论文(长文)“Dynamic Modality Interaction Modeling for Image-Text Retrieval”,荣获本次大会唯一的最佳学生论文奖,取得历史性突破。

SIGIR是人工智能领域智能信息检索方向最权威的国际会议,本次SIGIR 大会共收到了720篇长论文投稿,526篇短论文投稿,其中长论文接收151篇(接收率为21%),短论文接收145篇(接收率为27.6%)。

获奖论文介绍:图像-文本双向检索是信息检索和多媒体计算领域的基础性和关键性任务,有效地解决该问题不仅能打破视觉和语言之间的语义鸿沟和分布壁垒,还能促进许多上层应用的发展,如:视觉问答和图像字幕生成,故具有广泛而深刻的研究意义。当前,图文检索的发展主要面临两大挑战:模态内关系推理和模态间语义对齐。

针对这两个挑战,我们提出了一种基于动态模态交互建模的图文检索方法,该方法能够自适应地选择依赖于特定数据的模态交互路径。具体地,我们首先提出了四种不同类型的交互模块:修正恒等模块、模态内推理模块、整体-局部引导模块、模态间精炼模块,为模型提供基础的模态内关系推理和模态间语义对齐的能力。

为充分发挥上述模块间的协作能力,我们进一步提出一种稠密连接策略对这些模块在宽度和深度两个维度进行连接,构成一个完整的路径空间,用以自适应地生成依赖于数据的交互路径。此外,为了提升路径学习效率,我们提出了一种语义一致性正则化方法。在图文检索两个公开数据集Flickr30K和MS-COCO上的大量实验表明,本方法的检索性能显著优于现有方法;对模态交互路径的可视化实验进一步表明本方法学习路径的合理性。

审稿:王少华

编审:何文玲

终审:张之稳

官方微信
官方微博

山东建筑大学新闻中心  版权所有