ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

Boosting Parameter Efficiency in LLM-Based Recommendation through Sophisticated Pruning

Boosting Parameter Efficiency in LLM-Based Recommendation through Sophisticated Pruning 文章主要内容和创新点主要内容本文聚焦于基于大语言模型(LLM)的推荐系统在部署中面临的参数规模过大问题,提出通过参数剪枝提升参数效率,同时维持推荐质量。研究发现,现有方法多关注模型层间冗余,而基于LLM的推荐系统还存在显著的层内冗余(如自注意力模块和MLP模块中)。据此,本文提出了一种名为PruneRec的三阶段剪枝策略,逐步从层内到层间(从宽度到深度)剪枝参数,并在每个阶段通过蒸馏技术恢复模型性能,以平衡性能与参数效率。实验结果显示,在三个公开数据集上,该方法能保留原始模型88%的性能,同时剪枝超过95%的非嵌入参数,大幅降低了部署成本。创新点发现层内冗余:首次明确指出基于LLM的推荐系统不仅存在层间冗余,还存在显著的层内冗余(如自注意力头和MLP模块中),这些冗余限制了模型效率。提出PruneRec框架:设计了一种迭代的“剪枝-恢复”流程,结合层内和层间剪枝,通过三阶段逐步剪枝冗余参数,并利用知识蒸馏在每个阶段恢复性能,避免模型崩溃。实验验证有效性:在三个数据集上的实验表明,PruneRec在保留不到5%的非嵌入参数时,仍能维持与原始模型相当的推荐性能,显著提升了参数效率。翻译部分摘要基于大语言模型(LLM)的推荐系统已取得显著进展,但LLM庞大的参数规模所带来的部署成本仍阻碍其实际应用。本文探索通
返回列表