代购商品多源采集架构实战：策略模式+责任链处理淘宝/1688链接

做代购系统开发的时候，一个看似简单但实际很复杂的问题是：用户输入的商品链接格式五花八门。

有人粘贴淘宝商品链接（item.taobao.com/item.htm?id=123456），有人复制淘口令（￥xxxx￥），有人发1688链接，还有人直接上传图片希望找同款。

如果针对每种输入格式写一套独立的解析逻辑，用if-else硬编码，代码会迅速膨胀到不可维护的程度-。我们需要一个可扩展的采集架构。

整体设计思路

参考 Taocarts 系统的多源采集模块设计，核心思路是策略模式 + 责任链模式的组合-。

策略模式：定义统一的采集接口

public interface ProductSourceStrategy { // 判断是否支持该输入 boolean supports(String input); // 执行采集 ProductInfo fetch(String input); }

每种商品来源实现一个独立的策略类：

• TaobaoUrlStrategy：解析淘宝链接

• TmallUrlStrategy：解析天猫链接

• One1688UrlStrategy：解析1688链接

• TaoPasswordStrategy：解析淘口令

责任链模式：按优先级依次尝试

把所有的策略类串成一条责任链，按优先级依次尝试解析：

用户输入 → 淘口令策略 → 淘宝链接策略 → 1688链接策略 → 拼多多链接策略 → 图片识别策略

任何一个策略返回成功结果，链路就终止。全部失败则返回“无法识别该商品来源”。

反爬与高可用保障

采集模块还有一个隐藏的复杂性——反爬。国内电商平台对高频请求有严格的风控机制-。

Taocarts 的采集引擎采用了分布式调度方案：

• IP代理池：请求来源IP动态轮换

• 请求频率控制：每个IP的请求频率控制在安全阈值内

• 优先级队列：高优先级商品（如下单中的商品）优先采集

• 失败重试机制：采集失败自动重试，最多3次

效果数据

这套架构上线后，商品采集成功率达到99.2%，单日最高采集量超过50万条商品数据。对于代购系统来说，采集的稳定性和覆盖率直接决定了用户体验——客户搜不到想要的商品，一切都白搭。

如果你也在做类似的商品采集系统，建议从一开始就采用策略模式设计，后期扩展新货源时只需要新增一个策略类，不需要改动已有代码。