跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究为两类检索目标分配残差流

研究在 ModernBERT 中让稀疏与密集检索使用不同残差流,在 BEIR 的 13 个数据集上比较两种设置。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日上传至 arXiv 的预印本研究了多路残差流能否各自服务于不同目标。作者把依赖字词重合的稀疏检索和依赖语义表示的密集检索分配给不同残差流。

AI 生成主题插画

作者用 ModernBERT 的两种规模在 BEIR 的 13 个数据集上比较方法,控制模型容量、训练数据和训练预算。论文报告,在所测的稀疏与密集评分权重范围内,分工方案的平均前十项排序指标优于未分工版本。

实验采用编码器和两个检索目标,分别测试两路与四路设置。作者没有验证同一结果是否适用于生成模型或其他任务。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。