去年双11复盘的时候我们盯着后台的转化数据气氛一度很僵。人群包用RFM模型分了九层文案准备了三个方向设计师加班赶出来的素材堆满了一个共享盘结果点击率还在2%上下打转。后来我们换了一条路把AI大模型正式接进营销链路里试运行一个多月跑下来整体ROI往上拉了将近三成更重要的是团队终于不用再靠“拍脑袋疯狂加班”来堆量了。这篇文章就把这次改造的完整过程写出来从选型、数据准备、Prompt设计到效果评估包括那些只有跑线上才会踩到、文档里根本不会写的坑一次性讲清楚。这篇内容适合电商运营、营销产品经理、算法工程师以及所有想在真实业务里落地大模型但还没找到抓手的人。不需要你已经有很强的机器学习基础只要你能看懂SQL跟着流程走就能复现大部分思路。1. 电商营销的“老办法”卡在哪从一个真实大促案例说起1.1 那一年的双11我们的人群包和文案都失控了先还原一下当时的场景。团队的核心玩法是用RFM模型把用户分成高价值、潜力、沉睡、流失几个层级然后给每层用户推固定的营销内容。高价值用户发大额券沉睡用户发召回券流失用户发“好久不见”的关怀文案。看起来逻辑清晰但真正跑起来问题全出来了。第一人群包看似分层实际还是“千人一脸”。同一层用户的差异非常大。同样是“高价值”有人最近在疯狂浏览婴儿车有人天天看钓鱼装备还有人只是习惯性把贵的东西加购但从不付款。RFM层级只能回答“这个人值不值得花成本去触达”回答不了“这个人现在到底想要什么”。于是我们发出的内容经常是给正在挑婴儿车的用户推了满2000减200的通用券配图还是电饭煲。第二文案生产效率低且质量不稳定。运营同学不是不看数据是真写不过来。200个重点商品每个商品要出首页文案、push标题、短信文案三个版本还要按人群切不同卖点这就是近两千条内容。人写的东西确实有温度但量大之后全是套话“品质生活从XX开始”这种句子我自己看了都想划走。第三数据和内容之间隔着一堵墙。算法这边有用户行为日志运营那边有文案和素材两边需要靠人工对齐。用户近30天搜索了什么、咨询里提了什么诉求这些信息都在数据库里躺着但没有任何一个环节把它们变成营销内容的输入。复盘的时候发现团队做了大量执行层面的努力却忽略了一个根本性问题营销的起点应该是“理解用户此刻的需求”而不是“给用户贴一个永久的标签”。传统标签体系是静态的、结构化的但用户的需求是动态的、语义化的。这个差距正好是大模型擅长补的那块。1.2 需求端在变用户不再吃“千人一脸”那一套流量红利退潮这件事做电商的都深有体会。拉新成本越来越高老客复购率起不来平台之间的竞争已经从“抢增量”变成“挖存量”。在存量竞争里谁更懂用户谁的转化率就更高这是最朴素的逻辑。但用户的耐心也在肉眼可见地下降。消息列表里全是广告用户点开push的意愿一年比一年低。同一个用户今天对“限时五折”敏感明天可能只关心“能不能明天到货”后天又变成“有没有Plus会员专属价”。消费决策变得越来越场景化、情绪化一套固定规则走天下的办法已经失灵了。之前我们做营销像开盲盒知道发出去一大批内容但不确定哪一条真正打动了谁。而大模型给电商营销带来的核心变化不是把文案写得更好看而是让“每个用户收到的那条内容”真正基于“他此刻的需求”生成。商品还是那个商品但说给不同人听的话可以完全不一样。这个能力传统规则引擎给不了人工批量生产也给不了。2. 大模型真正改变电商营销的四个主战场2.1 用户意图理解从“看标签”到“读心思”传统用户画像是一堆结构化标签性别、年龄、消费频次、类目偏好、客单价区间。这些标签有用但它们本质上是“事后统计”回答的是“用户过去做了什么”而不是“用户现在想要什么”。大模型改变的是它能直接读用户留下的非结构化痕迹。搜索词、商品评论、客服对话、售后记录这些文本数据里藏着大量真实需求。比如一个用户连续三天搜索“防溢水花洒”“花洒喷头可拆卸”又在两款商品之间反复加购传统标签只能打上“厨卫类目活跃”但大模型可以从这些行为里读出更细的东西他在纠结“防溢”和“易清洁”两个功能他可能正在装修卫生间他对价格不敏感但很在意细节设计。落地时我们把用户近30天的搜索词、浏览商品标题、客服咨询记录拼接成一段文本让大模型抽取意图特征再和结构化标签做融合生成一层“动态语义标签”。这些标签不是给人看的是给后面的文案生成和推荐排序用的。这样做的效果立竿见影同样一个满减活动我们可以针对“装修期用户”和“换新用户”输出完全不同的利益点。2.2 个性化内容生成每一件商品都有自己的“推荐语”内容生成是大模型最直观、最容易见效的落地场景。关键不是“能写”而是“会针对不同人写不同的话”。同一个商品面向“颜值党”和“参数党”的表达应该完全不同。颜值党更在意设计、配色、摆在家里好不好看参数党更在意材质、尺寸、防水等级、售后条款。过去运营写文案只能取一个最大公约数结果就是两头都不讨好。现在我们把商品的结构化属性、用户群的偏好特征、营销目标三个输入扔给大模型一次生成多个版本的文案再按用户群分流投放。我当时定的Prompt结构很简单但效果很稳定你是一个资深电商文案目标用户是【人群特征】商品核心卖点是【SPU属性】营销目标是【提升点击/转化】请用【语气风格】写出不超过30个字的推荐语必须包含【必备元素】。实测下来生成结果里大概有七八成可以直接用剩下两三成稍作修改也能用人工修改量比之前纯手写降低了非常可观的比例。2.3 智能选品与推荐重排让“猜你喜欢”更懂上下文推荐系统在电商里已经很成熟了但有个通病它更多依赖历史行为缺少对当前会话上下文的感知。用户刚搜完“冰箱”推荐流还在给他推洗衣机的爆款因为他的历史标签里“家电类目”权重高但此刻他明显处在冰箱决策阶段。大模型参与推荐的价值不在召回而在重排和解释。具体做法是在推荐候选集生成之后用大模型结合用户当次会话的query和最近的浏览序列判断用户当前所处的决策阶段——是刚开始比较、促销敏感期还是准备下单前的临门一脚——然后调整候选商品的排序权重。更实用的是生成“推荐理由”比如“你最近在看烘干机这款除菌功能更强而且今晚8点有会员专享价”。用户看到的不再是一个干巴巴的商品卡片而是一句说到心坎里的话。我们把这套能力用在了大促期间的首页信息流上点击率提升非常明显。原因也好理解用户不是没需求是懒得在一堆不相关的东西里找需求。2.4 营销活动编排从人工排期到策略自动组合以前运营做活动排期基本靠手工选人群、定券面额、定文案、定发送时间还要跟算法团队提数来回沟通成本非常高。大模型在这里的核心价值是——把“自然语言描述”变成“可执行的策略”。举例运营说“我想给最近两周浏览过母婴类目、但还没下过单的25-35岁女性用户发一张满300减50的券而且要在晚上8点到10点之间触达”。过去这需要提数、写SQL、人工配置人群包。现在用大模型理解这段描述自动翻译成圈选条件调接口生成策略直接进投放系统。更进阶的玩法是策略自动组合把历史活动的效果数据喂给大模型让它分析什么人群配什么券面额、什么时间触达的ROI最高再输出下一轮活动的策略建议。虽然不能完全替代运营的判断但能把大量基础决策自动化让运营把精力花在真正需要创造力的地方。3. 落地路线怎么选API调用、开源私有化、微调的实际权衡3.1 三条路线的核心差异与适用场景真正开始动手时第一个要决策的就是技术路线。当时我见了几个团队发现大家容易走极端要么一头扎进开源模型搞私有化部署机器买了、环境配了好几天结果效果不满意要么直接买商用API省心是省心但涉及用户数据的环节又不敢随便往外传。我按自己的场景把三条路线拆开做了对比这里直接给结论对比维度商用API调用开源模型私有化部署业务数据微调接入速度最快几小时就能跑通慢需要GPU资源和工程环境慢需要准备训练数据初始成本低按量付费高硬件投入高训练和调参成本单次调用成本随调用量线性增长固定成本量大摊薄固定成本量大摊薄数据安全数据出站需评估合规数据不出内网数据不出内网模型效果强且持续更新取决于模型版本可优化垂直领域但可能损失通用能力维护成本几乎为零需要专人维护需要算法团队持续投入核心结论是没有最好的路线只有最合适的场景。凡是涉及用户隐私数据、不能出内网的处理环节就放私有化凡是纯文本生成、不涉及敏感信息的环节直接用商用API反而是性价比最高的选择。3.2 我为什么最终选了“混合路线”我们最后没有一条路走到底而是做了个混合架构这也是目前电商团队里比较主流且务实的做法。用户意图理解涉及行为日志、客服记录用私有化部署的开源模型处理数据不出内网满足安全和合规要求。营销文案生成输入是脱敏后的商品属性和人群特征用商用API效果好、更新快而且脱敏后没有隐私问题。策略自动编排内部数据不离开业务系统用规则引擎加上模型辅助决策不做全量替换逐步验证。这么做最大的好处是风险高的地方稳住了效果好的地方快上了。当时我们花在环境搭建上的时间大概是两周但API接入当天就跑通了第一个文案生成Demo。团队里有人对私有化部署特别热情总想把所有环节都迁到本地我生生给摁住了——技术选型不是炫技是要在资源有限的现实约束里找到最快能见到业务价值的那条路。3.3 选型时需要单独列出来的几个隐藏成本很多人选型时只盯着模型效果和单价忽略了几项隐藏成本这里单独列一下Prompt的调试成本换一个模型同一个Prompt的输出质量可能天差地别。踩过的经验是商用API和开源模型的指令遵循能力差距明显开源模型往往需要写更详细的Prompt、给更多示例调试周期会拉长。并发和延迟预算营销场景通常是集中式调用大促前几小时会有大批量生成任务。商用API要考虑限流私有化部署要考虑GPU吞吐。我们一开始低估了并发结果大促前跑批任务排队排了40分钟差点没赶上投放窗口。版本迭代的兼容性商用API版本升级可能导致输出格式变化私有化模型换版本也要重新评估效果。团队里必须有人专门盯着这块否则哪天线上文案格式突然乱了排查半天才发现是模型侧更新了。4. 一套可以抄作业的落地流程以“大促个性化投放”为例4.1 第一步梳理业务目标和约束条件我们先不聊技术第一步是把业务目标想清楚否则后面全是空转。我们这次的目标定义成大促期间站内信息流和push渠道的点击率提升20%加购率提升15%同时所有生成内容必须经过合规审核且不能出现价格、日期等事实性错误。约束条件也要提前列每天需要生成多少条内容我们的盘子大概是200个重点商品 × 3个渠道 × 5版文案也就是每天3000条左右再加上大促期活动页的banner文案和短信文案整体峰值在5000条上下。这个量级决定了我们必须要用批量生成加人工抽检的模式而不是一条条精修。4.2 第二步数据准备与用户语义画像构建数据是大模型落地的地基这一步偷懒后面全完蛋。我们做的数据工作可以分成三层第一层是把行为数据整理成可用的输入序列。从订单表、浏览日志、搜索日志里取用户近30天的行为按时间排序拼成文本。这里要注意数据质量问题之前我们发现搜索日志里有一堆乱码和空值如果不做清洗模型生成的结果会被带偏。第二层是做脱敏和合规处理。涉及用户ID、手机号、具体地址的信息一律不进入模型调用链路用的是脱敏后的特征向量或者语义标签。第三层是意图抽取和质量校验。我们把用户行为文本交给模型让它输出JSON格式的意图标签然后人工抽样检查准确率。一开始模型会抽取出一些很空泛的标签比如“用户对生活品质有追求”这种标签没法指导营销。后来我们改成了限定字段的抽取比如“品类兴趣”“价格敏感度”“当前决策阶段”“核心关注点”输出结构化程度高了可用性也上来了。4.3 第三步Prompt设计与Few-shot示例组织Prompt设计是投入产出比最高的一环比微调模型性价比高太多。我直接给一个我们线上验证过的模板骨架你是【品牌名】电商平台的资深营销文案专家。 任务为下面的商品生成面向指定人群的推荐语。 商品信息{商品名称、核心卖点、价格、优惠信息} 目标人群{人群特征描述来自语义画像} 营销目标{提升点击率/提升加购率/提升券使用率} 语气风格{亲切自然/专业理性/潮流年轻} 输出要求 1. 不超过40个字 2. 必须包含商品核心卖点 3. 必须自然融入优惠信息 4. 禁止夸张虚假宣传 5. 直接输出文案不要解释 参考示例 输入商品-便携榨汁杯无线充电/4000mAh/一键清洗人群-通勤白领目标-提升加购 输出通勤路上30秒鲜榨无线充电一键清洗今天下单立减30。 以下是商品信息和人群信息请生成5版不同侧重点的推荐语 {商品信息} {人群信息}这里核心技巧是Few-shot示例必须给够而且要给一个“好例”和一个“差例”。差例可以是过度夸张、信息堆砌、没有针对人群的泛泛之谈。模型通过对比能更快理解你到底要什么。我们当时加了一个差例之后输出质量明显上个台阶。4.4 第四步生成结果的质量控制与人工兜底大模型生成的文案不能直接上线上必须过一道质量闸门。我们把质量控制拆成三层第一层是规则校验。价格、满减金额、日期、商品名称这些关键字段必须来自商品数据库不允许模型自由发挥。我们用程序在生成结果里做关键词匹配和格式校验凡是不符合要求的直接废弃。第二层是模型自检。让大模型自己检查生成结果是否存在事实性错误、是否有违规词相当于让另一个AI当审核。虽然不能完全替代人但能过滤掉大部分低级错误。实测下来规则校验加模型自检可以干掉接近两成不合格内容。第三层是人工抽检。我们当时规定抽检比例不低于15%高峰时段会提高到30%。一旦发现某类Prompt的生成结果持续出问题马上回滚到上一版稳定Prompt同时启动兜底方案。这里也分享一个经验一定要保留一套原来的模板文案库作为兜底。某次模型服务商限流生成任务大面积失败我们直接切回老模板库活动照常跑。大模型是放大器不是单点依赖。4.5 第五步投放上线与效果回收全部生成内容先在小流量灰度比如先把5%的push流量切到模型生成的文案上对比原模板的点击率。如果点击率显著提升就逐步放量到10%、30%、全量。效果回收要做到日粒度。我们建了一个简单的看板每个渠道的点击率、加购率、转化率、实际GMV按“模型文案”和“原模板文案”分组对比。这里要特别注意活动期和日常期要分开看大促期间的转化率天然偏高不能全算成大模型的功劳。最关键的一步是沉淀。每轮跑完把点击率最高的文案和对应的Prompt输入、人群特征、商品信息整理成样本对存回样本库。这些是后续优化Prompt、甚至做微调时最宝贵的资产。我们大概积累了三个大促周期的样本之后再让模型生成的新文案起点就比第一版高出一大截。5. 效果怎么算才不算糊涂账指标体系与评测方法5.1 离线评测先过“不翻车”关不要一上来就看线上数据先做离线评测把不靠谱的结果挡在上线前。我们当时建立了四个离线指标覆盖了质量、安全、合规和多样性。第一个是语义准确率人工抽检文案与商品卖点的一致性有没有张冠李戴第二个是事实错误率检查价格、日期、优惠信息是否准确第三是指令遵循率有没有严格按照字数限制和格式要求输出第四是内容多样性同一商品在不同人群下的文案差异是否足够大如果五版文案长得差不多说明Prompt设计还有问题。离线评测不用搞太复杂一个抽样样本池加一份评分表就能跑起来。关键是标准要统一下来比如“包含未标明的前提信息”算不算错误团队里要先达成一致否则不同人打分差异巨大评测结果就没有参考价值。5.2 在线指标GMV增量是否可归因线上效果评估的核心难题是归因。点击率提升了到底是大模型的功劳还是因为这次发的券面额更大了为了讲清楚这个问题我们把指标拆成两层。第一层是过程指标点击率、加购率、优惠券领取率、优惠券核销率。第二层是结果指标活动GMV、单用户贡献收入、复购率。过程指标反映“内容有没有打动用户”结果指标反映“最终有没有带来生意”。两层结合看才能判断模型到底产生了什么影响。另外必须建立对照组。不做A/B测试就宣称大模型带来多少增长全是耍流氓。我们见过太多项目老板看到大盘涨了20%就归功于AI但其实同期的自然流量也在涨。严格的A/B可以避免这种“虚假的胜利”。5.3 A/B实验设计的几个细节A/B实验这里多说几句坑很多。一是分组一定要做同质化检验。我们在实验前会对比测试组和对照组的历史客单价、活跃度、类目偏好分布确保两组基本一致否则结果没有说服力。二是避免跨渠道污染。同一个用户如果同时收到了测试组的push和对照组的短信实验就脏了。所以分渠道做实验时要保证同一个用户在所有渠道拿到的都是同一个版本的内容。三是观察周期要拉长。活动当天的点击率说明不了太多我们一般会再观察活动结束后7天的数据看测试组的用户有没有更高的复购率。毕竟营销追求的是全生命周期的用户价值不是一次性成交。6. 资金有限的小团队怎么低成本起步6.1 从Prompt工程开始别急着训练如果你的团队预算有限又没有算法背景我的建议非常简单不要碰微调不要碰私有化部署先从Prompt工程开始。挑一个最痛的场景比如商品文案生成或者客服话术辅助用现成的商用API花一周时间把Prompt调试到可用水平。大模型项目的起点不是模型而是业务问题和流程梳理。把场景定清楚、输入输出格式定清楚、质量标准定清楚后面换什么模型都不慌。很多人一上来就想着“训练自己的大模型”这是最容易走偏的。实际上绝大多数电商营销场景一个设计良好的Prompt加几个示例的效果已经能超过大多数人工产出的内容了。等你的文案量到了每周上万条再考虑用更便宜的模型或者私有化那时候你才知道真正的瓶颈在哪里。6.2 RAG仓库与知识库的轻量搭建营销场景里商品信息、优惠规则、品牌规范是频繁变化的内容不适合硬塞进模型。这时候RAG检索增强生成是比微调更省钱的方案。简单说RAG就是把商品文档、优惠规则、品牌规范等切块、向量化、存起来每次生成前先检索出相关内容拼到Prompt里让模型参考。好处是更新知识只需要改文档库不需要重新训练模型。轻量搭建的路径是文档切块按标题和段落切向量化用开源的Embedding模型再加一个简单的相似度检索最后把检索结果拼进Prompt。全套下来一周就能搭完成本几乎为零。我们后面把所有商品的卖点文档都放进了知识库文案生成的事实错误率又降了一截。6.3 优先选择支持按量付费的模型服务小团队起步阶段现金流比什么都重要。商用API建议选支持按量付费的避免一下子砸几万块买包年套餐。另外还要学会按场景分模型简单的内容分类、意图识别用便宜的小模型复杂的长文案生成才用贵的大模型。我们实际跑下来大量简单任务的成本可以降到原来的十分之一。还要记得做用量监控。找运维同学搭一个简单的日志表每天看prompt的token消耗、调用次数和失败率。我们曾经发现某个定时任务在反复调用同一个耗token量很大的Prompt一天白烧了不少钱问题就出在代码里写死了全量文本没有先做压缩。这类浪费在项目初期非常常见。7. 最容易翻车的五个坑与我的处置经验7.1 幻觉问题在营销文案里的危害比想象中大大模型的幻觉问题在闲聊场景最多就是个笑话但在营销文案里是实实在在的事故。我们遇到过模型给没有赠品的商品写了“下单送便携收纳包”给不支持分期支付的商品写了“可享3期免息”。用户真的会因为这句话下单收到货发现没有赠品退款差评一条龙品牌损失远大于收益。处置办法就是前面说的关键事实字段必须是数据库提供的模型只能做表达层面的发挥不允许创造事实。上下文里给了什么信息就围绕什么信息写绝不允许模型自行补充附加权益。7.2 “全员提示词工程师”是个伪命题项目做完之后有人提议让运营同学也学会写Prompt搞“全员提示词工程”。我第一个反对。运营同学的核心能力是对用户和商品的理解不是跟模型对话。让他们写Prompt结果是越写越玄学同一个Prompt今天好用明天不好用情绪都耗在跟模型搏斗上。正确的做法是把好的Prompt封装成工具运营只需要在下拉框里选人群类型、输入商品ID、点生成这是“傻瓜化”的过程。API的后端把Prompt模板固化好把参数填好输出结果再走一遍质量校验。好的模板化系统应该让业务同学感受不到大模型的存在他只需要判断结果好不好用。7.3 离线指标好看不代表线上有用有一次我们调了一版Prompt人工评审分数特别高文案读起来又专业又流畅所有人都觉得稳了。结果线上A/B测试点击率反而不如之前的版本。后来复盘才发现那版文案太“完美”了像广告公司拍的宣传片反而不像朋友之间的真实推荐用户本能地不信任。从那以后我们对“看起来很好”的结果都保持警惕。判断文案是否有效不能靠人的审美只能靠线上的数据反馈。这也说明小流量A/B灰度这个环节绝对不能省。7.4 数据合规与用户隐私这条红线这一点必须反复强调。营销场景用到大量用户行为数据这些数据能不能传给外部模型是合规问题不是技术问题。我们的做法是第一所有进入模型链路的数据都先脱敏用户ID、联系方式全部替换成匿名ID第二涉及敏感行为记录的数据一律走私有化部署的本地模型第三外部API的调用日志定期清理不保留超过30天的原始输入输出。团队里没有人是法务专家但踩过一次合规的边之后就长记性了。强烈建议启动前就找法务或合规同事评估一遍数据流说清楚哪些数据能出内网、哪些必须在本地处理再画架构图。倒推回来改架构的代价比一开始想清楚要大得多。7.5 大模型项目失败的原因多半不在模型本身之前看了不少行业案例发现大模型项目落地失败的原因很少是因为模型效果不行更多是死在流程、组织、数据这些“非模型”的地方。比如数据质量差线上日志缺字段模型再强也白搭比如目标不清晰老板说“我们要拥抱AI”但到底解决什么问题没人说得清比如没有兜底模型一抖动业务就瘫了决策层一慌就喊停再比如组织协作断裂算法说自己只管模型运营说业务需求提了没人响应两边都在等着对方先动。我们这次能跑出来很大程度上是因为项目从第一天就把“业务问题”放在“模型技术”前面先定指标再选方案先做灰度再推全量先建兜底再上系统。听起来都是老生常谈但真正做到的项目其实不多。大模型本身不产生价值它嵌入的这套业务流程能不能改变才决定了最终的结果。最后再分享一个实际操作中的体会别被模型版本迭代的焦虑带着走。今天出一个新模型明天出一个新框架追是追不完的。守住自己的业务场景、数据沉淀和评测标准模型越换越强只是时间问题。营销的本质从来都是理解人大模型只是第一次让我们有了规模化理解每个人的可能。