文章主要内容和创新点主要内容本文提出了一种名为LLM4ES的新型框架，旨在利用预训练大型语言模型（LLMs）从事件序列中提取高质量的用户嵌入。其核心流程包括：将结构化事件序列（如金融交易、医疗记录等）转换为文本表示；通过文本富集技术（利用预训练LLM将事件序列重写为多样化格式和风格的文本）增强数据语义；在富集后的文本上微调LLM（以next-token预测为目标），并通过平均模型最后8层的隐藏状态提取用户嵌入；在金融（如用户流失、性别、年龄分类）和非金融（如电影偏好的性别/年龄预测、客户终身价值预测）领域验证，结果显示LLM4ES在用户分类任务中性能优于现有方法，且与其他方法集成时表现更优。创新点提出LLM4ES框架：通过将事件序列转换为富集文本并微调LLM，提取通用用户嵌入，在金融和非金融数据集上较现有方法实现高达7%的ROC-AUC相对提升，且与CoLES等方法集成时性能进一步提升（如年龄预测任务提升3.3%）。引入文本富集技术：针对低变异性领域（事件序列数据往往格式单一），利用LLM将事件序列重写为多样化文本格式，解决LLM在结构化数据上的分布偏移问题，较原始序列化数据训练实现1.8%的ROC-AUC相对提升。翻译部分摘要本文提出了LLM4ES，这是一种新颖的框架，它利用预训练的大型语言模型（LLMs）从事件