ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

Exploiting Primacy Effect To Improve Large Language Models

Exploiting Primacy Effect To Improve Large Language Models 文章主要内容和创新点主要内容本文聚焦大型语言模型(LLMs)在多项选择问答(MCQA)任务中的首因效应(primacy effect)——即模型倾向于优先选择排序靠前的选项。研究发现:微调会放大LLMs的首因偏差,可能是因为微调过程中模型接触了更多类人的模式;基于这一发现,提出一种无需知晓正确答案的优化方法:根据选项与查询的语义相似度对选项重新排序(按相似度降序排列),利用首因效应引导模型选择更可能正确的选项;实验表明,该方法在不同模型(如Llama系列、Mistral)和数据集(CLINC、BANKING、HWU)上均能显著提升MCQA任务的性能,且对近因效应(recency effect)的利用及两种效应的结合也能带来增益。创新点揭示微调与首因偏差的关系:首次明确证明微调会强化LLMs的首因效应,为理解模型偏差的来源提供了新视角;从“减轻偏差”到“利用偏差”:不同于传统的偏差缓解方法,提出主动利用首因效应提升性能的策略,通过语义相似度排序实现无监督优化;鲁棒性验证:该方法在多种模型架构和数据集上均有效,证明了其通用性和实用性。翻译部分摘要大型语言模型(LLMs)凭借广泛的预训练和微调,在许多自然语言处理(NLP
返回列表