学术交流

热烈祝贺山东大学信息检索实验室荣获EMNLP 2023杰出论文奖

2023年12月25日

全球自然语言处理领域顶级会议EMNLP2023近日在新加坡召开，山东大学信息检索实验室研究成果“Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents”获得大会颁发的杰出论文奖（Outstanding Paper Award）。山东大学计算机科学与技术学院2021级硕士生孙维纬为第一作者，百度为合作单位。

在这篇获奖论文中，研究人员探索了大语言模型在排序任务上的能力。主要内容为：大语言模型（LLMs）在语言任务上已经展示出了强大的能力。但是，LLMs在信息检索领域的应用主要在于利用其文本生成能力进行数据增强或答案生成，如何使用LLMs进行文本排序仍是一个未解答的问题。此外，LLMs预训练目标和排序任务目标的不一致也使得其在排序任务上面临挑战。在本文中，我们研究类似ChatGPT和GPT-4的LLMs在相关性排序任务上能力。我们的实验表明，通过合理的方法提示的LLMs可以在信息检索基准测试上取得和之前最优的有监督系统更好的结果。进一步，为了更公平的评估LLMs的排序能力，我们基于最新的话题开发了一个新的测试集-NovelEval，用于测试模型在未知知识上的排序能力，并避免数据污染对评估的影响。最后，为了提升在实际场景中的效率，我们提出了排序蒸馏方法，将ChatGPT的排序能力蒸馏到一个更小的专用模型中。我们实验表明蒸馏得到的一个440M参数的学生模型在BEIR数据集上表现由于3B参数的有监督模型。

EMNLP全称是Empirical Methods in Natural Language Processing，由计算语言学学会主办，是自然语言处理领域最具影响力的国际学术会议，也是国际自然语言处理领域最高级别的学术会议之一。本届大会共收到投稿4909篇，主会录用论文1047篇，录用率21.3%。