1. 项目概述与核心挑战会话推荐系统Session-based Recommender Systems, SBRS是当前推荐系统领域一个非常热门且极具挑战性的方向。简单来说它的任务就是当一个匿名用户比如没有登录的网站访客在短时间内进行了一系列点击或购买行为后系统需要预测他下一个最可能感兴趣的项目是什么。这就像你走进一家书店店员通过观察你刚刚翻过的几本书来猜测你接下来会拿起哪一本。这个场景在电商、新闻、音乐流媒体等平台中无处不在。然而这个看似直观的任务背后却隐藏着几个棘手的难题。首先数据是“匿名”且“短序列”的我们无法利用用户长期的历史画像只能依赖当前这个短暂的交互序列信息量非常有限。其次用户兴趣的转移往往是复杂且非线性的项目之间可能存在多种高阶的、非直接的关联。传统基于监督学习的方法比如用RNN、GRU或简单的图神经网络GNN来建模序列通常采用“下一个项目预测”作为训练目标使用交叉熵等损失函数。这种方法存在一个根本性的“次优推荐”问题模型只关心预测下一个“正确”项目的概率而忽略了整个推荐列表的质量也无法有效利用“负反馈”即用户不喜欢的项目来优化长期推荐策略。为了解决这个问题研究者们将目光投向了强化学习Reinforcement Learning, RL。RL的智能体通过与环境的交互推荐-获得反馈来学习策略其目标是最大化长期累积奖励。这天然契合推荐系统的目标——不仅希望下一次点击准确更希望用户在整个会话中保持高参与度和满意度。将监督学习提供精准的初始预测与强化学习优化长期策略结合的监督强化学习Supervised Reinforcement Learning, SRL框架便应运而生。在这个框架中一个核心的瓶颈在于“状态表示”。状态是智能体感知环境的窗口也是连接监督学习输出和强化学习输入的桥梁。如果状态表示不能充分、准确地刻画当前会话的复杂信息那么后续的策略学习就成了无源之水。近年来图神经网络GNN和超图神经网络HGNN为构建高质量的状态表示提供了强大的工具。GNN擅长在局部会话图中捕捉项目间的成对转移关系例如买了手机的用户很可能接着看手机壳。而HGNN则能在一个由所有历史会话构成的全局超图中挖掘项目之间多对多的高阶复杂关联例如许多购买了A和B的用户也购买了C即使A和B在单个会话中从未直接相邻。HG-SRL模型的创新之处就在于它首次将这两种不同视角的图信息——全局的超图高阶关联和局部的会话图成对关系——通过一个精心设计的自匹配注意力机制进行深度融合构建出一个更全面、更强大的状态表示从而为SRL框架提供了坚实的信息基础。2. 模型核心架构与设计思路拆解HG-SRL模型的整体架构是一个典型的监督强化学习框架但其核心创新点在于状态表示模块。我们可以将整个模型理解为由三个紧密协作的部分组成一个负责“感知”和“理解”环境的状态表示模块一个负责“快速反应”的监督学习模块以及一个负责“长远规划”的强化学习模块。2.1 监督强化学习框架的协同机制在深入图结构之前我们首先要理解SRL框架是如何工作的。它并不是简单地将两个模型并联。其核心思想是联合训练与正则化。监督学习部分可以看作是一个基础的、高效的“直觉系统”。它接收当前的状态表示即融合后的图嵌入直接通过一个全连接层和Softmax函数输出对所有候选项目的预测分数。这部分使用Focal Loss一种改进的交叉熵损失能更好地处理样本不平衡和难易样本问题进行训练目标是快速、准确地预测下一个项目。它的优势是收敛快能提供稳定的学习信号。强化学习部分扮演着“策略优化器”的角色。它同样接收相同的状态表示但目标不同。它使用深度Q网络这里采用了更稳定的双深度Q网络DDQN来评估在给定状态下推荐每个项目所能带来的长期价值Q值。其损失函数基于时序差分误差目标是让智能体学会选择那些能带来更高累积奖励的动作。这里的奖励函数基于累计增益CG即对推荐列表中的项目根据其是否相关给予不同的预设奖励值。最关键的一步是联合损失函数L L_s λ * L_rl。其中L_s是监督损失L_rl是强化学习损失λ是一个超参数用于平衡两者的影响。强化学习的损失在这里起到了一个正则化项的作用。它不直接取代监督学习而是通过引入来自长期收益的奖励信号来“引导”或“修正”监督学习模型的参数更新方向使其不仅关注即时预测的准确性也兼顾推荐策略的长期收益。这就好比一位新司机监督模型在一位经验丰富的老司机RL策略的指导下开车既学习了基本的驾驶操作准确预测也潜移默化地理解了更优的行驶策略长期收益。2.2 双图结构全局与局部信息的互补模型最核心的贡献在于其状态表示模块它由两个并行的图神经网络构成分别从全局和局部视角提取信息。全局会话超图Global Session Hypergraph 超图是普通图的推广。在普通图中一条边只能连接两个节点成对关系。而在超图中一条“超边”可以连接任意数量的节点。在HG-SRL中我们将每一个历史会话都构建为一条超边这条超边连接了这个会话中出现的所有项目节点。这样一个包含所有历史会话数据的超图就构建完成了。这个结构的强大之处在于它能天然地捕捉项目之间的“共现”高阶关系。例如项目A和B可能从未在同一个会话中连续出现但它们可能频繁地同时出现在许多不同的会话里比如“牛奶”和“面包”这种隐性的、多对多的关联是传统序列模型或普通图模型难以有效捕获的。我们使用超图卷积网络HGCN在这个全局超图上进行信息传播和聚合最终得到每个项目在全局视角下的嵌入表示。局部会话图Local Session Graph 与此同时对于当前正在处理的匿名会话我们为其构建一个有向图。图中的节点是会话中的项目边则由用户的点击顺序决定从上一个项目指向下一个项目。这个图清晰地刻画了在当前这个具体会话中项目之间的局部转移模式。我们使用门控图神经网络GGNN在这个局部图上进行信息传播。GGNN的优势在于它引入了类似GRU的门控机制能更好地控制邻居节点信息的流入和遗忘从而精准建模序列中的复杂依赖和长期依赖关系。注意这里存在一个关键的设计考量。为什么不只用超图或只用局部图因为两者各有局限。局部图虽然精准刻画了当前序列但完全忽略了项目在全局历史中的普遍关联模式容易过拟合于当前会话的噪声。全局超图虽然拥有丰富的协同信息但可能会稀释或模糊当前会话特有的、强烈的顺序信号。因此将两者结合才能既见“树木”局部序列又见“森林”全局关联。2.3 自匹配注意力融合机制分别从超图和局部图得到项目嵌入后如何将它们有效地融合成一个统一的状态表示是另一个关键挑战。简单的拼接Concat或加和Sum-Pooling操作可能会引入信息冗余或无法有效对齐两种不同来源的特征。HG-SRL提出了一种自匹配注意力Self-Matching Attention机制。这个机制的核心思想是进行“交叉计算”。具体来说它将来自全局超图的会话表示向量和来自局部图的会话表示向量在项目嵌入维度上进行交叉注意力计算。这个过程可以理解为让全局信息和局部信息相互“提问”和“回答”全局信息问局部信息“在我的宏观视角下你这个局部序列中的每个项目其重要性应该如何调整”局部信息问全局信息“根据我当前这个具体序列的上下文你提供的全局关联信息中哪些部分是真正相关的”通过这种交叉的注意力计算模型能够动态地筛选和加权两种信息源强化那些在两种视角下都表现出高度一致性的重要特征同时抑制可能存在的噪声或无关信息。最终再通过一个考虑项目位置信息的软注意力层进行聚合得到最终的会话级状态表示s_t。这个s_t就是输入给后续监督学习和强化学习模块的、富含信息的“环境快照”。3. 核心模块实现细节与实操要点理解了整体框架和设计思路后我们深入到各个核心模块的实现细节并探讨其中的关键技巧和避坑点。3.1 超图构建与卷积的工程实现构建全局会话超图是整个流程的第一步也是最需要谨慎处理数据的一步。实操步骤数据预处理清洗原始交互日志过滤掉长度小于2的会话无法构成序列和出现次数少于5次的物品过于稀疏噪声大。这是稳定模型训练、防止过拟合的常见操作。构建关联矩阵假设我们有|V|个不同的项目|S|个历史会话。我们构建一个大小为|V| x |S|的关联矩阵H。如果项目i出现在会话j中则H[i, j] 1否则为0。这个矩阵就是超图的数学表示。计算度矩阵计算节点度矩阵D对角线上元素D[i,i]表示项目i属于多少条超边和超边度矩阵B对角线上元素B[j,j]表示会话j包含多少个项目。通常将超边权重W初始化为单位矩阵。实现超图卷积超图卷积的一层传播公式为E^(l1) D^(-1) H W B^(-1) H^T E^(l)。其中E^(l)是第l层的项目嵌入矩阵。H^T E^(l)这一步是“节点到超边”的信息聚合每个会话超边的特征由其包含的所有项目的特征求和或平均得到。H * (上一步结果)这一步是“超边到节点”的信息聚合每个项目的特征更新为其所属所有会话超边特征的聚合。D^(-1)和B^(-1)是归一化操作防止特征尺度爆炸。关键技巧与避坑稀疏矩阵运算关联矩阵H通常非常稀疏。在实现时务必使用稀疏矩阵乘法库如PyTorch的torch.sparse或 SciPy的稀疏矩阵直接使用稠密矩阵进行运算会带来巨大的内存和计算开销对于大规模数据集是不可行的。层数与过平滑和普通GNN一样堆叠过多的HGCN层会导致“过平滑”问题即所有节点的特征趋向于一致。论文中通过对多层输出的嵌入进行平均公式(3)来缓解。在实际操作中通常2-3层即可需要根据数据集通过验证集调整。邻居会话采样从超图关联矩阵派生出的项目-项目邻接矩阵Adj_h中我们可以为每个会话采样“邻居会话”。这里的技巧在于如何定义“邻居”。论文中提到根据项目相关性值进行采样。一个实用的方法是对于当前会话中的每个项目从Adj_h中找出与其最相关的K个其他项目这些项目组成的集合按原会话顺序排序即可视为一个增强的邻居会话。这相当于为当前会话补充了全局的上下文信息。3.2 局部会话图与GGNN的实现对于每个匿名会话我们需要动态地构建其局部有向图并应用GGNN。实操步骤构建邻接矩阵对于一个会话序列[v1, v3, v4, v3, v2]我们需要构建两个邻接矩阵入边矩阵A_in和出边矩阵A_out。如果序列中存在一条边从v_i指向v_j则在A_out[i, j]和A_in[j, i]相应位置1考虑重复边。之后需要进行归一化如行归一化。GGNN消息传播GGNN的核心公式如论文中公式(7)和(8)所示。其过程可以分解为消息计算对于每个节点将其所有邻居根据入边和出边分别计算的特征进行聚合得到消息向量a_i^k。门控更新将上一步的隐藏状态h_i^(k-1)和消息向量a_i^k输入一个GRU单元公式(8)。重置门r决定遗忘多少旧状态更新门z决定用多少新消息来更新状态。这个门控机制让模型能学会在序列中哪些信息需要保留哪些需要更新。读出会话表示经过K层GGNN传播后我们得到了每个项目节点在局部图上下文中的最终嵌入\tilde{h}_i^K。为了得到整个会话的表示一种常见做法是使用注意力机制对最后一个项目代表当前兴趣赋予更高权重或者使用所有节点嵌入的平均/求和。关键技巧与避坑处理重复项目会话中经常出现重复点击例如用户反复查看同一商品。在构建图时重复的边会增加权重这在GGNN的消息聚合中会被自然考虑进去是一个合理的特性因为它反映了用户对该项目的持续关注度。初始化项目节点的初始嵌入E^(0)通常使用一个可学习的查找表Embedding Lookup Table。确保全局超图和局部会话图使用的初始项目嵌入是共享的这是两者能够进行后续融合的基础。梯度流动GGNN中的GRU单元涉及多次时间步层的计算可能存在梯度消失/爆炸问题。使用梯度裁剪Gradient Clipping和合适的初始化如正交初始化是稳定训练的必要措施。3.3 自匹配注意力融合机制详解这是模型中最精巧的部分其实现需要仔细理解。流程拆解输入我们有两个会话级别的表示向量经过各自图网络和池化/聚合后。假设全局超图产生的会话表示为h_g维度[batch_size, seq_len, embed_dim]局部图产生的会话表示为h_l维度[batch_size, seq_len, embed_dim]。seq_len是会话长度需对齐不足可填充。交叉计算不是简单地将h_g和h_l拼接或相加而是让它们相互做注意力。一种实现方式是将h_g和h_l在某个维度上拼接得到h_concat。对h_concat应用一层自注意力Self-Attention让其中的每个位置对应一个项目同时关注来自全局和局部表示的所有其他位置的信息。这一步旨在融合内部信息。接着进行一个“匹配”注意力。例如可以用h_g的最后一个位置代表当前兴趣作为查询Queryh_concat作为键Key和值Value计算注意力。这一步旨在从融合信息中筛选出与当前全局兴趣最相关的部分。残差连接与激活如公式(10)所示h_r x_f gelu(β_f)。这里x_f是原始的输入特征例如h_g或h_l的某种组合β_f是计算出的注意力权重。使用残差连接加回原始输入和GELU激活函数是为了保证训练的稳定性并保留原始的低层特征。位置感知聚合最后为了得到固定维度的会话状态s_t需要对项目级的表示进行聚合。论文中采用了加入反向位置编码考虑时间衰减后再加软注意力Soft Attention的方法。反向位置编码是一个关键细节它给会话中更近的项目赋予更大的位置索引使得模型在聚合时能更关注近期行为这符合用户兴趣会随时间衰减的直觉。实操心得维度对齐在实现交叉注意力时确保h_g和h_l的序列长度seq_len一致至关重要。对于长度不同的会话需要在预处理阶段进行填充Padding和生成掩码Mask并在注意力计算中忽略填充位置。注意力头数可以采用多头注意力Multi-Head Attention来让模型从不同子空间学习融合信息通常能提升效果。头数如4或8是一个需要调节的超参数。融合顺序论文中先融合了邻居会话信息到全局表示中再进行全局-局部融合。在实际代码实现时这是一个清晰的流水线HGCN - (融合邻居) - h_gGGNN - h_lSelfMatchAttention(h_g, h_l) - h_allPositionAwareAggregation(h_all) - s_t。4. 监督与强化学习的联合训练策略模型训练是HG-SRL能否成功的关键它涉及监督损失和强化学习损失的平衡。4.1 损失函数设计与实现监督损失Focal Loss 传统的交叉熵损失在推荐这种正负样本极不平衡一个正样本成千上万个负样本的场景下容易被大量的简单负样本主导。Focal Loss通过引入两个调制因子α和γ来解决这个问题。α用于平衡正负样本的权重。通常为类别1正样本设置一个较小的权重如0.25为类别0负样本设置较大的权重如0.75让模型更关注稀有的正样本。γ用于降低易分类样本的损失贡献。当模型对一个样本的预测概率很高时无论正负(1 - p_t)^γ会使其损失权重变小。这样训练就更加聚焦于那些难以分类的“硬样本”。在PyTorch中的简化实现如下import torch import torch.nn as nn import torch.nn.functional as F class FocalLoss(nn.Module): def __init__(self, alpha0.25, gamma2.0, reductionmean): super(FocalLoss, self).__init__() self.alpha alpha self.gamma gamma self.reduction reduction def forward(self, inputs, targets): BCE_loss F.binary_cross_entropy_with_logits(inputs, targets, reductionnone) pt torch.exp(-BCE_loss) # pt p if y1, else 1-p focal_weight (self.alpha * targets (1 - self.alpha) * (1 - targets)) * ((1 - pt) ** self.gamma) loss focal_weight * BCE_loss if self.reduction mean: return loss.mean() elif self.reduction sum: return loss.sum() else: return loss强化学习损失DDQN Loss 我们采用双深度Q网络来稳定训练。其损失函数基于贝尔曼方程L_rl (r γ * Q(s_{t1}, argmax_{a} Q(s_{t1}, a; θ); θ^-) - Q(s_t, a_t; θ))^2其中θ是当前Q网络在线网络的参数。θ^-是目标Q网络的参数定期从在线网络复制而来用于计算目标Q值减少相关性。argmax操作使用在线网络选择动作而评估该动作的价值则使用目标网络这避免了Q值过高估计。联合训练流程前向传播输入会话数据通过状态表示模块得到s_t。监督分支用s_t计算所有项目的预测分数用Focal Loss计算L_s。强化学习分支用s_t输入到DDQN的在线网络得到Q值。根据当前策略如ε-greedy选择动作a_t即推荐项目。环境交互模拟在训练中我们通常使用离线数据模拟环境。给定动作a_t和真实的下一项v_{t1}计算即时奖励r_t如果a_t v_{t1}给予正奖励r_c否则给予负奖励r_-c。存储转移(s_t, a_t, r_t, s_{t1})到经验回放缓冲区Replay Buffer。注意论文中提到为了加速未使用经验回放而是采用批处理。但对于稳定性经验回放通常是RL训练的好实践。从缓冲区采样一个批次的数据计算目标Q值和当前Q值的均方误差得到L_rl。计算总损失L L_s λ * L_rl反向传播更新模型参数包括共享的状态表示网络和两个分支的网络。每隔一定步数更新目标网络参数θ^- - τ * θ (1-τ) * θ^-软更新。4.2 超参数调优经验HG-SRL涉及的超参数较多调优是关键。奖励设置 (r_c,r_-c)这是RL部分最敏感的参数之一。论文实验表明r_c / r_-c的比值存在一个最优区间如-3到-4。比值绝对值太小如-1惩罚力度不够RL引导作用弱比值绝对值太大如-10会导致奖励差异过大引起训练不稳定和梯度爆炸。建议从r_c1, r_-c-3开始尝试在验证集上观察MRR20指标的变化。折扣因子γ控制未来奖励的重要性。在会话推荐场景下会话通常较短长期收益影响有限。论文结果表明γ接近1如0.9-0.99时效果较好这意味着模型需要关注从当前状态开始的短期累积收益。这与直觉相符。平衡系数λ控制RL损失在总损失中的权重。如果λ太大RL信号会主导训练可能损害监督学习已经学到的快速预测能力如果λ太小则RL起不到有效的正则化作用。一个稳妥的策略是采用热身Warm-up在训练初期例如前10个epoch设置λ0让监督学习部分先收敛到一个较好的基点然后逐渐增大λ到一个固定值如0.1或0.01引入RL进行微调和策略优化。嵌入维度与网络深度项目嵌入维度通常取64, 128, 256。图神经网络的层数HGCN层数、GGNN层数一般不超过3层。更大的维度和更深的网络不一定带来更好的效果反而可能导致过拟合和训练困难。需要在模型容量和泛化能力之间取得平衡。优化器与学习率使用Adam优化器是标准选择。学习率需要仔细调整可以从1e-3或3e-4开始。由于是联合训练学习率不宜设置过高否则容易震荡。可以配合学习率衰减策略。5. 实验部署、问题排查与效果分析5.1 实验环境搭建与数据准备环境依赖Python 3.8PyTorch 1.9 (需支持稀疏矩阵运算)NumPy, Pandas, Scikit-learnCUDA (用于GPU加速强烈推荐)数据预处理流程原始数据加载加载如Diginetica、Tmall等公开数据集。数据格式通常为[session_id, item_id, timestamp]。会话划分按session_id分组并按timestamp排序得到每个会话的交互序列。数据过滤移除长度小于2的会话。移除出现次数少于5次的物品具体阈值可根据数据规模调整。这是一个权衡过滤太狠会损失信息过滤不够则噪声大、嵌入学习困难。训练/验证/测试集划分切忌按比例随机划分必须按时间划分。例如用前几天的数据做训练随后一天做验证最后一天做测试。这模拟了真实的线上推荐场景。序列分割与状态标记对于每个训练会话[v1, v2, v3, v4, v5]需要生成训练样本。采用滑动窗口方式输入序列:[v1], 标签:v2输入序列:[v1, v2], 标签:v3...输入序列:[v1, v2, v3, v4], 标签:v5每个样本对应强化学习中的一个“状态-动作-奖励”转移。5.2 常见训练问题与排查技巧在训练HG-SRL这类复杂模型时你可能会遇到以下典型问题问题1模型不收敛损失值NaN。可能原因梯度爆炸。这在图神经网络和RL结合的训练中较为常见。排查与解决梯度裁剪在反向传播前对梯度范数进行裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)。检查归一化确保超图卷积中的度矩阵D和B进行了正确的归一化加上epsilon防止除零。降低学习率尝试将学习率降低一个数量级。检查奖励值确保奖励值r_c和r_-c设置合理不要过大。问题2强化学习部分没有效果λ调大后整体性能反而下降。可能原因RL智能体没有学到有效的策略其输出的Q值噪声过大干扰了监督学习。排查与解决检查目标网络更新确认目标网络θ^-是否定期更新或软更新。如果目标网络停滞不前Q值目标会不稳定。增加经验回放缓冲区大小确保缓冲区足够大如10万条以上并且采样批次具有多样性。延迟引入RL采用之前提到的Warm-up策略先让监督部分训练一段时间再慢慢加入RL损失。可视化Q值在验证集上记录并绘制智能体在相同状态下选择不同动作的Q值分布。如果分布非常随机或集中说明RL未有效学习。问题3模型在验证集上过拟合很快。可能原因模型复杂度高而会话数据相对稀疏。排查与解决增加Dropout在图卷积层之后、注意力层之间加入Dropout。权重衰减在优化器中加入L2正则化AdamW优化器默认支持。早停严格监控验证集指标如MRR20当连续多个epoch不再提升时停止训练。简化模型尝试减少HGCN或GGNN的层数或降低嵌入维度。问题4对短会话长度3推荐效果很差。可能原因这是HG-SRL模型在Diginetica数据集上表现提升不显著的原因之一。短会话包含的信息太少图结构简单甚至无法形成有效的图导致状态表示学习不充分。排查与解决会话填充与掩码对短会话进行填充至统一长度并在所有计算中使用掩码忽略填充部分。调整奖励函数论文中提到的现象——在短会话数据集上RL效果不佳。可以尝试设计基于会话长度的自适应奖励。例如对于短会话给予单步正确推荐更高的奖励以补偿长期收益的不足。融合更多特征对于极短会话可以尝试引入项目的辅助信息如类别、属性的嵌入作为初始节点特征的补充以弥补交互信息的不足。5.3 效果分析与业务解读通过复现论文实验或在自有数据上训练后如何解读结果核心指标PK (PrecisionK)在前K个推荐结果中命中用户下一个点击项目的比例。它衡量的是推荐的准确性。MRRK (Mean Reciprocal RankK)计算用户下一个点击项目在推荐列表中排名的倒数再取平均。它同时衡量了准确性和排名质量。MRR比PK更敏感一个好的模型应该能把正确项目排得更靠前。对比实验分析如论文表2所示HG-SRL在多个数据集上超越了基线模型。重点分析相比SR-GNN、FGNN仅用局部图HG-SRL的提升证明了引入全局超图信息的有效性。相比DHCN、SHARE使用超图或自监督HG-SRL的提升证明了监督强化学习框架的优越性RL的奖励机制提供了额外的优化信号。相比GCE-GNN也用全局局部图HG-SRL的提升可能主要来自于更强大的超图建模能力HGCN vs GNN以及自匹配注意力融合机制。消融实验分析图5和图6的消融实验至关重要。HGSRL-G vs HGSRL-H验证了全局信息H比局部信息G更重要还是反过来这取决于数据特性。HGSRL-NRL vs HG-SRL验证了RL模块的贡献。如果去掉RL性能下降明显说明SRL框架是有效的。不同融合方法对比验证了自匹配注意力Self-Matching优于简单的加和Sum、拼接Concat或逐元素乘积Element-wise。这说明信息融合需要精细的设计。业务启示状态构建是核心在SRL或任何RL用于推荐的系统中如何构建一个富含信息、判别性强的状态表示是决定模型上限的关键。HG-SRL的双图融合方案提供了一个强有力的范式。奖励设计是艺术论文使用了固定的CG奖励。在实际业务中奖励函数可以设计得更复杂例如结合点击率、停留时长、购买转化、长期用户留存等将业务目标直接编码进奖励中。离线与在线鸿沟HG-SRL在离线实验上表现优异但要部署到线上还需考虑实时性。超图卷积涉及所有历史会话可以定期如每天离线更新全局项目嵌入和超图结构线上服务则主要进行快速的局部图推理和融合计算。同时需要构建一个高效的在线仿真环境用于持续训练和更新RL策略。最后HG-SRL模型为我们展示了如何将前沿的图表示学习与强化学习框架结合来解决会话推荐中的根本性难题。它的成功不在于使用了多么复杂的算法而在于对问题本质的深刻理解——通过融合全局与局部视角来构建更优的状态并通过奖励机制来引导模型超越简单的下一个预测走向更优的序列推荐策略。在实际应用中需要根据具体的数据特点和业务需求对其各个模块进行细致的调整和优化。
