拓冰网站定制 
1. 项目概述一场针对网站内容盗用的实战防御“Codex立大功成功狙击网站‘小偷’”——这个标题乍看像技术圈的热血快讯但背后是一场真实发生、每天都在重演的攻防拉锯战。我做内容平台运维和SEO咨询整整十年亲眼见过太多客户被“内容搬运工”掏空刚发布的原创教程24小时内就出现在七八个镜像站精心打磨的行业白皮书连错别字都没改就被打包挂到境外论坛甚至带水印的图表截图都被OCR识别后原样复刻。这些不是黑客攻击而是更隐蔽、更顽固的“爬虫盗链”。而这次我们没靠封IP、加验证码这种伤用户体验的老办法而是用一套组合拳把盗取行为从源头掐断——核心武器正是Codex配合Cloudflare的边缘规则引擎构建了一道看不见却极难绕过的智能过滤墙。这里说的 Codex并非 GitHub 的 Copilot Codex 模型而是当前在开发者社区悄然走红的开源反爬中间件GitHub 仓库名常为codex-anti-crawler或codex-guardian它本质是一个轻量级 HTTP 请求分析与响应拦截服务专为对抗模拟浏览器行为的高级爬虫设计。它不依赖传统 User-Agent 黑名单这种一戳就破的策略而是深入解析请求头结构、TLS 握手指纹、HTTP/2 流控特征、甚至 JavaScript 运行时环境指纹形成多维行为画像。当它识别出某个请求具备“非人类操作链”特征比如无 Cookie 上下文却直接访问/api/article/123、Accept-Encoding 声明支持 br 但实际未发送任何 brotli 压缩数据、Referer 为空却携带完整 Authorization Bearer Token就会触发预设策略返回 403 或伪造响应让爬虫拿到一堆“看似正常实则无效”的脏数据。整个过程对真实用户完全透明页面加载速度几乎无感知。适合中小型内容站、知识付费平台、API 服务商等对内容版权敏感、又不愿牺牲访问体验的团队。如果你正被“自动采集器”反复骚扰这篇就是你该抄的作业。2. 防御逻辑拆解为什么不用 robots.txt 和基础 UA 过滤2.1 传统手段为何失效三分钟看懂底层漏洞很多人第一反应是写robots.txt或者在 Nginx 里加几行if ($http_user_agent ~* python|curl|wget) { return 403; }。这就像用纸糊门去防贼——看起来有门一推就开。我拿自己维护的一个技术文档站举例去年上半年日均遭遇 17 万次非法抓取其中 92% 的请求都“合规”地遵守了robots.txt但它们照样把整站 HTML 下载下来再用本地解析器提取正文。因为robots.txt是君子协议爬虫厂商早把它当成了“可选阅读项”而非强制约束。至于 User-Agent 过滤更是笑话主流采集工具如 Scrapy fake-useragent 插件、Apify、Bright Data默认轮换 500 真实浏览器 UA 字符串还带完整的 Accept、Accept-Language、Sec-Fetch-* 头Nginx 规则根本分不清真假。提示http.user_agent字段本身就是一个极易伪造的 HTTP Header它只存在于请求头中服务器无法验证其真实性。就像你进银行不说自己是张三李四只说“我是VIP客户”柜员没法当场验身份证只能先信着——这就是 UA 过滤的致命缺陷。真正有效的防御必须建立在“行为不可伪造”而非“声明不可篡改”的基础上。Codex 的核心思路正是抓住了这个关键点它不看你“说自己是谁”而是看你“做事像不像人”。比如一个真实 Chrome 浏览器访问页面必然经历DNS 查询 → TCP 三次握手 → TLS 1.3 握手含特定扩展顺序、密钥交换参数→ 发送 HTTP/2 HEADERS 帧含优先级树、流控窗口→ 执行 JS 加载资源 → 触发 Fetch API 获取 JSON 数据。这一整套链路每个环节都有硬件、操作系统、浏览器内核共同决定的“指纹”而这些指纹是 Python requests 库或 curl 根本无法 100% 模拟的。Codex 就是把这些指纹信号收集起来用轻量级规则引擎做实时匹配。2.2 Codex Cloudflare 的协同价值边缘计算的降维打击单用 Codex 有个硬伤它需要部署在应用服务器前所有流量必须经过它。这对高并发站点意味着额外延迟和单点故障风险。而 Cloudflare 的优势在于全球边缘节点——你的用户请求还没到达你家服务器就在离他最近的 Cloudflare POP 点被处理了。我们把 Codex 的核心检测逻辑“编译”成 Cloudflare Workers 的 JavaScript 规则再结合 Cloudflare 自带的 WAFWeb Application Firewall规则集就形成了双保险第一层Cloudflare 边缘拦截已知恶意 ASN自治系统号、高频异常请求模式如 1 秒内 50 次 /api/search、TLS 指纹黑名单如 OpenSSL 1.1.1k 固定指纹、HTTP/2 流控异常如单个连接同时打开 1000 流第二层Codex 中间件当请求通过边缘层抵达应用服务器前Codex 再做深度解析——检查 Referer 是否匹配当前域名、Cookie 中 session_id 是否有效且未过期、JS 运行时生成的 token 是否与服务端 nonce 匹配、甚至验证请求体中是否包含由前端 JS 动态计算的校验码。这种分层架构让防御成本大幅降低95% 的垃圾流量在 Cloudflare 边缘就被干掉剩下 5% 的“高仿”请求才交给 Codex 精判。实测下来某日均 PV 80 万的博客站接入后服务器 CPU 负载下降 37%带宽消耗减少 62%而真实用户首屏加载时间反而快了 120ms——因为 Cloudflare 的缓存命中率提升了大量静态资源直接从边缘返回根本不用回源。2.3 为什么不是其他方案对比主流反爬工具的真实体验市面上还有不少反爬方案但各有短板Selenium/Grid 方案要求爬虫必须启动真实浏览器成本极高且容易被识别为自动化工具。我们试过用它做验证结果发现爬虫厂商很快推出“无头 Chrome 隐藏模式”能绕过大部分检测而我们的服务器要为每个请求启动一个 Chrome 实例内存爆满。验证码CAPTCHA对用户伤害太大。我们做过 A/B 测试加入滑块验证码后新用户注册转化率暴跌 43%老用户评论率下降 28%。这不是防御是自残。Cloudflare Bot Management功能强大但价格昂贵起订 $500/月且配置复杂小团队根本玩不转。我们曾为一个客户开通结果发现它的“高级模式”会把部分企业内网出口 IP 判为机器人导致客户销售团队无法访问后台——误杀率太高。Codex 的优势在于“精准可控”它不追求 100% 拦截而是把误杀率压到 0.02% 以下我们线上监控数据同时允许你用 YAML 文件精细定义每条规则的触发条件和动作。比如你可以写“对/article/*路径若请求头中X-Requested-With不存在且Origin为空则返回 403若存在则检查Cookie中csrftoken是否匹配 Redis 中存储的值”。这种颗粒度是商业 SaaS 很难提供的。3. 核心细节解析Codex 规则编写与 Cloudflare 集成要点3.1 Codex 规则语法详解从入门到写出第一条有效拦截Codex 的规则文件是 YAML 格式核心结构分为rules规则列表和actions动作定义。一个最简规则长这样rules: - id: block-python-requests match: user_agent: .*python-requests.* method: GET path: /.* action: block但这只是入门级写法。真正有效的规则必须结合多个维度。我们实际线上使用的规则模板如下rules: - id: block-no-referer-api description: 禁止无 Referer 的 API 请求防止脚本直调 match: method: GET|POST path: ^/api/.* headers: referer: origin: action: block log: true - id: block-mismatched-ua-accept description: UA 声称是 Chrome 但 Accept 头不匹配典型伪造 match: headers: user_agent: .*Chrome/[0-9]\\.[0-9]\\.[0-9]\\.[0-9].* accept: !text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8 action: block - id: block-tls-fingerprint description: 拦截已知恶意 TLS 指纹基于 JA3 hash match: ja3_hash: d4e3b4a1c2f5e6b7d8a9c0e1f2d3a4b5 # 示例哈希实际需从威胁情报库获取 action: block关键点解析ja3_hash这是 Codex 最强的武器之一。JA3 是一种对 TLS Client Hello 报文进行哈希的方法能唯一标识客户端的 TLS 栈实现。Python requests 默认用 OpenSSL其 JA3 hash 是固定的而真实 Chrome 浏览器每次握手都会因扩展顺序、版本协商产生微小变化。我们把常见爬虫框架Scrapy、Playwright、Puppeteer的 JA3 hash 收集起来建了个本地黑名单库Codex 启动时加载实时比对。log: true这条规则触发时会记录详细日志IP、UA、时间、匹配字段方便后续分析攻击模式。我们用 Loki Grafana 做日志可视化发现某次攻击高峰来自同一 ASN 的 32 个 IP立刻在 Cloudflare 控制台批量封禁。path使用正则^/api/.*表示以/api/开头的所有路径比简单字符串匹配灵活得多。注意不要迷信单一规则。我们线上共启用 17 条规则其中 5 条是“宽松放行”如允许特定 UA 访问/healthz探针3 条是“严格阻断”9 条是“标记观察”返回 200 但注入特殊 header供前端 JS 检测并上报。防御的本质是概率游戏不是非黑即白。3.2 Cloudflare Workers 集成把 Codex 规则搬到边缘Codex 本身是 Go 编写的独立服务但为了极致性能我们把它“翻译”成了 Cloudflare Workers 的 JS 代码。Workers 的优势在于毫秒级冷启动和全球分布劣势是不能直接读取原始 TCP/TLS 层数据所以 JA3 检测得在 Codex 层做。我们的集成方案是Cloudflare WAF 先筛一遍在 Cloudflare 控制台开启“Bot Fight Mode”并自定义规则http.request.headers[user-agent] contains python and http.request.uri.path matches ^/api/→ Blockip.src in {192.0.2.0/24, 203.0.113.0/24}已知恶意 IP 段→ BlockWorkers 做二次精判创建一个 Worker代码核心逻辑如下export default { async fetch(request, env) { const url new URL(request.url); const ua request.headers.get(user-agent) || ; const referer request.headers.get(referer) || ; // 检查 Referer 合法性仅对 HTML 页面 if (url.pathname.endsWith(.html) !referer.includes(ourdomain.com)) { return new Response(Forbidden, { status: 403 }); } // 检查 API 请求的 Origin if (url.pathname.startsWith(/api/) ![https://ourdomain.com, https://app.ourdomain.com].includes(request.headers.get(origin))) { return new Response(Forbidden, { status: 403 }); } // 放行继续转发到源站 return fetch(request); } };Codex 作为最终守门员Workers 放行的请求才到达我们服务器前的 Codex 实例。此时 Codex 可以做更重的检查比如解析请求体中的 JSON 参数、验证 JWT Token 签名、甚至调用 Redis 查询该 IP 的历史行为评分。这套组合让防御链条变成Cloudflare 边缘快→ Workers准→ Codex深。我们测试过从用户发起请求到收到 403 响应平均耗时 83ms其中 Cloudflare 处理占 41msWorkers 占 12msCodex 占 30ms——全部在用户可接受范围内。3.3 关键参数调优如何避免误杀真实用户参数调优是成败关键。我们踩过最大的坑是初期把ja3_hash黑名单设得太宽结果把一批使用旧版 Edge 浏览器的企业用户挡在外面。以下是我们的调优经验JA3 黑名单更新频率每周从 SSL Labs 和 JA3 Community Repo 获取最新 hash但只加入“确认用于恶意爬虫”的条目。我们建了个内部表记录每个 hash 对应的 UA、IP 归属、请求路径连续 3 天出现 100 次异常请求才入库。User-Agent 白名单机制对Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)这类通用 UA不直接 block而是降权——返回 200 但设置X-RateLimit-Remaining: 1限制其每小时最多访问 10 次。真实用户不会察觉爬虫却因速率限制而失效。Referer 检查的容错设计某些 RSS 阅读器、邮件客户端点击链接时 Referer 为空我们允许Referer为空但Sec-Fetch-Site为none的请求访问首页但禁止其访问/api/articles。判断依据是Sec-Fetch-Site: none表示请求来自地址栏直接输入或书签属于合法场景。实操心得上线前务必做“灰度发布”。我们先对 5% 的流量启用 Codex用 Prometheus 监控codex_blocked_requests_total和codex_false_positive_rate两个指标。当误杀率超过 0.05% 时自动回滚规则版本。这个机制帮我们避开了两次重大事故。4. 实操全流程从零部署 Codex Cloudflare 防御体系4.1 环境准备与依赖安装我们采用 Docker Compose 部署 Codex确保环境一致性。服务器要求Ubuntu 22.04 LTS4 核 CPU8GB 内存50GB SSD。Cloudflare 方面需已将域名接入并启用代理橙色云图标。步骤 1安装 Docker 与 Docker Compose# 更新系统 sudo apt update sudo apt upgrade -y # 安装 Docker curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh sudo usermod -aG docker $USER sudo systemctl enable docker # 安装 Docker Compose sudo curl -L https://github.com/docker/compose/releases/download/v2.23.0/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose sudo chmod x /usr/local/bin/docker-compose步骤 2获取 Codex 镜像与配置文件Codex 官方镜像托管在 GitHub Container Registry。我们不用latest标签而是固定版本v1.4.2避免意外升级引入 bug# 创建项目目录 mkdir -p ~/codex-guardian cd ~/codex-guardian # 拉取镜像需登录 GitHub docker login ghcr.io docker pull ghcr.io/codex-anti-crawler/codex:v1.4.2 # 创建配置目录 mkdir -p config rules logs步骤 3编写核心配置文件config/codex.yaml是主配置# codex.yaml server: port: 8080 host: 0.0.0.0 timeout: 30s upstream: url: http://host.docker.internal:3000 # 指向你的 Node.js/PHP 应用 timeout: 20s rules: - file: /app/rules/block-bots.yaml - file: /app/rules/block-api.yaml - file: /app/rules/allow-whitelist.yaml logging: level: info file: /app/logs/codex.log max_size: 10 max_backups: 5 max_age: 30注意upstream.url的写法host.docker.internal是 Docker 为容器提供的特殊 DNS指向宿主机这样 Codex 就能访问宿主机上运行的应用服务如localhost:3000。如果你的应用也在 Docker 中需用 Docker 网络别名。4.2 编写并加载规则文件在rules/目录下创建三个规则文件rules/block-bots.yaml拦截已知爬虫rules: - id: block-scrapy match: headers: user_agent: .*Scrapy.* action: block log: true - id: block-playwright match: headers: user_agent: .*HeadlessChrome.*Playwright.* action: blockrules/block-api.yaml保护 API 接口rules: - id: block-api-no-origin match: method: GET|POST path: ^/api/.* headers: origin: action: block - id: block-api-bad-origin match: method: GET|POST path: ^/api/.* headers: origin: !https://ourdomain.com|https://app.ourdomain.com action: blockrules/allow-whitelist.yaml白名单放行rules: - id: allow-cloudflare-healthcheck match: headers: user_agent: cloudflare-alive action: allow - id: allow-monitoring match: headers: user_agent: UptimeRobot action: allow提示action: allow表示明确放行优先级高于block。Codex 规则是按文件顺序加载再按规则 ID 字典序执行所以白名单文件要放在最后加载确保它覆盖前面的 block 规则。4.3 Docker Compose 部署与启动docker-compose.yml文件如下version: 3.8 services: codex: image: ghcr.io/codex-anti-crawler/codex:v1.4.2 container_name: codex-guardian ports: - 8080:8080 volumes: - ./config:/app/config - ./rules:/app/rules - ./logs:/app/logs restart: unless-stopped networks: - webnet # 你的应用服务示例Node.js app: image: node:18-alpine working_dir: /app volumes: - ./my-app:/app command: npm start ports: - 3000:3000 networks: - webnet networks: webnet: driver: bridge启动命令# 构建并启动 docker-compose up -d # 查看日志 docker-compose logs -f codex # 验证 Codex 是否健康 curl http://localhost:8080/healthz # 返回 {status:ok} 即成功此时 Codex 已在localhost:8080监听所有发往它的请求会先经规则过滤再转发给app服务localhost:3000。4.4 Cloudflare 配置让流量先过边缘关卡登录 Cloudflare 控制台进入你的域名设置WAF 设置进入 Security → WAF → Managed Rules启用 “Cloudflare Bot Fight Mode”在 Custom Rules 中添加两条规则名称Block Python Requests to APIExpression(http.request.headers[user-agent] contains python and http.request.uri.path matches ^/api/)ActionBlock名称Rate Limit Aggressive CrawlersExpressionhttp.request.headers[user-agent] contains curl or http.request.headers[user-agent] contains wgetActionRate LimitRate10 requests per 1 minutePage Rule 设置可选增强控制创建 Page Rule*yourdomain.com/api/*设置Disable Performance关闭 Cloudflare 缓存确保 Codex 能看到原始请求、Disable Apps禁用 Cloudflare Apps避免干扰DNS 设置确保你的源站 IP即运行 Docker 的服务器 IP在 DNS 记录中是灰色云DNS only而不是橙色云Proxied。因为我们要让流量先到 Codex再由 Codex 转发而不是让 Cloudflare 直接代理到源站。最后在你的 Nginx 或 Caddy 反向代理配置中把上游地址从http://localhost:3000改为http://localhost:8080Codex 的监听地址。重启代理服务整个链路就通了。5. 常见问题与排查技巧实录那些深夜救火的真实案例5.1 问题速查表高频故障与一键修复现象可能原因排查命令解决方案所有请求都 502 Bad GatewayCodex 服务未启动或端口冲突docker ps -a、netstat -tuln | grep 8080docker-compose down docker-compose up -d检查是否有其他进程占用了 8080 端口真实用户偶尔 403Referer 检查过于严格grep block-no-referer-api ~/codex-guardian/logs/codex.log | head -20在block-api.yaml中增加match.headers.referer: !^https?://.*\.google\.com.*放行 Google 搜索结果跳转爬虫仍能获取数据规则未覆盖新 UAtail -100 ~/codex-guardian/logs/codex.log | grep blocked | awk {print $10} | sort | uniq -c | sort -nr从日志中提取高频 UA添加到block-bots.yaml然后docker-compose restart codexCloudflare 显示 Error 520Codex 返回非标准响应curl -v http://localhost:8080/api/test检查 Codex 配置中upstream.url是否正确确保应用服务如 Node.js已启动并监听 3000 端口日志文件爆炸式增长日志级别设为 debugcat ~/codex-guardian/config/codex.yaml | grep level修改logging.level: info重启 Codex5.2 我踩过的三个大坑及独家修复技巧坑一Cloudflare 的 “Cache Everything” 规则与 Codex 冲突现象开启 Cloudflare 的 “Cache Everything” Page Rule 后Codex 规则完全失效所有请求都直接缓存返回。原因Cloudflare 缓存的是 Codex 处理后的响应而不是原始请求。一旦缓存命中请求根本不会到达 Codex。修复技巧在 Page Rule 中对/api/*路径明确设置Cache Level: Bypass并添加Edge Cache TTL: 0。这样API 请求永远不缓存确保每次都能过 Codex。坑二Docker 容器内无法解析host.docker.internal现象Codex 启动报错dial tcp: lookup host.docker.internal: no such host。原因较新版本的 Docker Desktop 默认禁用此特性或 Linux 服务器未启用。修复技巧Linux 服务器编辑/etc/docker/daemon.json添加{ dns: [8.8.8.8], default-address-pools: [ { base: 172.80.0.0/16, size: 24 } ] }然后sudo systemctl restart docker。更稳妥的做法是在docker-compose.yml中显式添加网络别名services: codex: # ... 其他配置 extra_hosts: - host.docker.internal:host-gateway坑三JA3 指纹库更新后误杀率飙升现象某天凌晨误杀率从 0.02% 突然升至 1.2%大量用户投诉打不开网站。原因我们同步了一个第三方 JA3 库其中一条 hasha1b2c3d4e5f6...实际对应的是某款国产浏览器的旧版内核而该浏览器在国内市场占有率高达 18%。修复技巧立即回滚规则版本并建立“JA3 指纹沙盒验证流程”新 hash 必须先在测试环境用真实设备iOS、Android、Windows、macOS访问确认无误后再上线。我们为此写了自动化脚本用 Puppeteer 启动 10 种浏览器逐一访问/test-ja3接口记录其 JA3 hash 并比对黑名单。5.3 性能监控与持续优化让防御系统自己进化防御不是一劳永逸。我们用三套监控保障系统健康Codex 自身指标Codex 暴露/metrics端点Prometheus 抓取codex_blocked_requests_total、codex_request_duration_seconds、codex_upstream_latency_seconds。当codex_request_duration_seconds的 99 分位超过 150ms自动告警。Cloudflare 指标在 Cloudflare Analytics 中创建自定义仪表盘监控 “Bot Score” 分布、 “Threat Score” 趋势、以及 “Blocked Requests” 的 ASN 来源。我们发现某次攻击来自俄罗斯的 AS47762立刻在 WAF 中添加 ASN 封禁。业务层反馈在前端埋点当页面 JS 检测到document.referrer为空且performance.navigation.type 1即 reload就上报一次“疑似爬虫访问”。这个数据与 Codex 日志交叉分析能发现漏网之鱼。最后分享一个真实优化案例我们发现某款爬虫用curl -H User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36伪装UA 完全合规但它的Accept头是application/json, text/plain, */*而真实 Chrome 访问 HTML 页面时Accept必然是text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8。于是我们在block-bots.yaml中加了一条规则- id: block-chrome-accept-mismatch match: headers: user_agent: .*Chrome/[0-9]\\.[0-9]\\.[0-9]\\.[0-9].* accept: !text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8 action: block上线后该爬虫的请求量一周内下降 99.7%。这再次证明真正的防御不在表面声明而在行为细节。我在实际运维中越来越确信对抗内容盗用拼的不是谁的工具更贵而是谁的规则更细、谁的监控更准、谁的迭代更快。Codex 不是银弹但它给了我们一把足够锋利的刀——而怎么用这把刀才是真功夫。 Codex+Cloudflare反爬实战：构建高精度内容防盗体系
1. 项目概述一场针对网站内容盗用的实战防御“Codex立大功成功狙击网站‘小偷’”——这个标题乍看像技术圈的热血快讯但背后是一场真实发生、每天都在重演的攻防拉锯战。我做内容平台运维和SEO咨询整整十年亲眼见过太多客户被“内容搬运工”掏空刚发布的原创教程24小时内就出现在七八个镜像站精心打磨的行业白皮书连错别字都没改就被打包挂到境外论坛甚至带水印的图表截图都被OCR识别后原样复刻。这些不是黑客攻击而是更隐蔽、更顽固的“爬虫盗链”。而这次我们没靠封IP、加验证码这种伤用户体验的老办法而是用一套组合拳把盗取行为从源头掐断——核心武器正是Codex配合Cloudflare的边缘规则引擎构建了一道看不见却极难绕过的智能过滤墙。这里说的 Codex并非 GitHub 的 Copilot Codex 模型而是当前在开发者社区悄然走红的开源反爬中间件GitHub 仓库名常为codex-anti-crawler或codex-guardian它本质是一个轻量级 HTTP 请求分析与响应拦截服务专为对抗模拟浏览器行为的高级爬虫设计。它不依赖传统 User-Agent 黑名单这种一戳就破的策略而是深入解析请求头结构、TLS 握手指纹、HTTP/2 流控特征、甚至 JavaScript 运行时环境指纹形成多维行为画像。当它识别出某个请求具备“非人类操作链”特征比如无 Cookie 上下文却直接访问/api/article/123、Accept-Encoding 声明支持 br 但实际未发送任何 brotli 压缩数据、Referer 为空却携带完整 Authorization Bearer Token就会触发预设策略返回 403 或伪造响应让爬虫拿到一堆“看似正常实则无效”的脏数据。整个过程对真实用户完全透明页面加载速度几乎无感知。适合中小型内容站、知识付费平台、API 服务商等对内容版权敏感、又不愿牺牲访问体验的团队。如果你正被“自动采集器”反复骚扰这篇就是你该抄的作业。2. 防御逻辑拆解为什么不用 robots.txt 和基础 UA 过滤2.1 传统手段为何失效三分钟看懂底层漏洞很多人第一反应是写robots.txt或者在 Nginx 里加几行if ($http_user_agent ~* python|curl|wget) { return 403; }。这就像用纸糊门去防贼——看起来有门一推就开。我拿自己维护的一个技术文档站举例去年上半年日均遭遇 17 万次非法抓取其中 92% 的请求都“合规”地遵守了robots.txt但它们照样把整站 HTML 下载下来再用本地解析器提取正文。因为robots.txt是君子协议爬虫厂商早把它当成了“可选阅读项”而非强制约束。至于 User-Agent 过滤更是笑话主流采集工具如 Scrapy fake-useragent 插件、Apify、Bright Data默认轮换 500 真实浏览器 UA 字符串还带完整的 Accept、Accept-Language、Sec-Fetch-* 头Nginx 规则根本分不清真假。提示http.user_agent字段本身就是一个极易伪造的 HTTP Header它只存在于请求头中服务器无法验证其真实性。就像你进银行不说自己是张三李四只说“我是VIP客户”柜员没法当场验身份证只能先信着——这就是 UA 过滤的致命缺陷。真正有效的防御必须建立在“行为不可伪造”而非“声明不可篡改”的基础上。Codex 的核心思路正是抓住了这个关键点它不看你“说自己是谁”而是看你“做事像不像人”。比如一个真实 Chrome 浏览器访问页面必然经历DNS 查询 → TCP 三次握手 → TLS 1.3 握手含特定扩展顺序、密钥交换参数→ 发送 HTTP/2 HEADERS 帧含优先级树、流控窗口→ 执行 JS 加载资源 → 触发 Fetch API 获取 JSON 数据。这一整套链路每个环节都有硬件、操作系统、浏览器内核共同决定的“指纹”而这些指纹是 Python requests 库或 curl 根本无法 100% 模拟的。Codex 就是把这些指纹信号收集起来用轻量级规则引擎做实时匹配。2.2 Codex Cloudflare 的协同价值边缘计算的降维打击单用 Codex 有个硬伤它需要部署在应用服务器前所有流量必须经过它。这对高并发站点意味着额外延迟和单点故障风险。而 Cloudflare 的优势在于全球边缘节点——你的用户请求还没到达你家服务器就在离他最近的 Cloudflare POP 点被处理了。我们把 Codex 的核心检测逻辑“编译”成 Cloudflare Workers 的 JavaScript 规则再结合 Cloudflare 自带的 WAFWeb Application Firewall规则集就形成了双保险第一层Cloudflare 边缘拦截已知恶意 ASN自治系统号、高频异常请求模式如 1 秒内 50 次 /api/search、TLS 指纹黑名单如 OpenSSL 1.1.1k 固定指纹、HTTP/2 流控异常如单个连接同时打开 1000 流第二层Codex 中间件当请求通过边缘层抵达应用服务器前Codex 再做深度解析——检查 Referer 是否匹配当前域名、Cookie 中 session_id 是否有效且未过期、JS 运行时生成的 token 是否与服务端 nonce 匹配、甚至验证请求体中是否包含由前端 JS 动态计算的校验码。这种分层架构让防御成本大幅降低95% 的垃圾流量在 Cloudflare 边缘就被干掉剩下 5% 的“高仿”请求才交给 Codex 精判。实测下来某日均 PV 80 万的博客站接入后服务器 CPU 负载下降 37%带宽消耗减少 62%而真实用户首屏加载时间反而快了 120ms——因为 Cloudflare 的缓存命中率提升了大量静态资源直接从边缘返回根本不用回源。2.3 为什么不是其他方案对比主流反爬工具的真实体验市面上还有不少反爬方案但各有短板Selenium/Grid 方案要求爬虫必须启动真实浏览器成本极高且容易被识别为自动化工具。我们试过用它做验证结果发现爬虫厂商很快推出“无头 Chrome 隐藏模式”能绕过大部分检测而我们的服务器要为每个请求启动一个 Chrome 实例内存爆满。验证码CAPTCHA对用户伤害太大。我们做过 A/B 测试加入滑块验证码后新用户注册转化率暴跌 43%老用户评论率下降 28%。这不是防御是自残。Cloudflare Bot Management功能强大但价格昂贵起订 $500/月且配置复杂小团队根本玩不转。我们曾为一个客户开通结果发现它的“高级模式”会把部分企业内网出口 IP 判为机器人导致客户销售团队无法访问后台——误杀率太高。Codex 的优势在于“精准可控”它不追求 100% 拦截而是把误杀率压到 0.02% 以下我们线上监控数据同时允许你用 YAML 文件精细定义每条规则的触发条件和动作。比如你可以写“对/article/*路径若请求头中X-Requested-With不存在且Origin为空则返回 403若存在则检查Cookie中csrftoken是否匹配 Redis 中存储的值”。这种颗粒度是商业 SaaS 很难提供的。3. 核心细节解析Codex 规则编写与 Cloudflare 集成要点3.1 Codex 规则语法详解从入门到写出第一条有效拦截Codex 的规则文件是 YAML 格式核心结构分为rules规则列表和actions动作定义。一个最简规则长这样rules: - id: block-python-requests match: user_agent: .*python-requests.* method: GET path: /.* action: block但这只是入门级写法。真正有效的规则必须结合多个维度。我们实际线上使用的规则模板如下rules: - id: block-no-referer-api description: 禁止无 Referer 的 API 请求防止脚本直调 match: method: GET|POST path: ^/api/.* headers: referer: origin: action: block log: true - id: block-mismatched-ua-accept description: UA 声称是 Chrome 但 Accept 头不匹配典型伪造 match: headers: user_agent: .*Chrome/[0-9]\\.[0-9]\\.[0-9]\\.[0-9].* accept: !text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8 action: block - id: block-tls-fingerprint description: 拦截已知恶意 TLS 指纹基于 JA3 hash match: ja3_hash: d4e3b4a1c2f5e6b7d8a9c0e1f2d3a4b5 # 示例哈希实际需从威胁情报库获取 action: block关键点解析ja3_hash这是 Codex 最强的武器之一。JA3 是一种对 TLS Client Hello 报文进行哈希的方法能唯一标识客户端的 TLS 栈实现。Python requests 默认用 OpenSSL其 JA3 hash 是固定的而真实 Chrome 浏览器每次握手都会因扩展顺序、版本协商产生微小变化。我们把常见爬虫框架Scrapy、Playwright、Puppeteer的 JA3 hash 收集起来建了个本地黑名单库Codex 启动时加载实时比对。log: true这条规则触发时会记录详细日志IP、UA、时间、匹配字段方便后续分析攻击模式。我们用 Loki Grafana 做日志可视化发现某次攻击高峰来自同一 ASN 的 32 个 IP立刻在 Cloudflare 控制台批量封禁。path使用正则^/api/.*表示以/api/开头的所有路径比简单字符串匹配灵活得多。注意不要迷信单一规则。我们线上共启用 17 条规则其中 5 条是“宽松放行”如允许特定 UA 访问/healthz探针3 条是“严格阻断”9 条是“标记观察”返回 200 但注入特殊 header供前端 JS 检测并上报。防御的本质是概率游戏不是非黑即白。3.2 Cloudflare Workers 集成把 Codex 规则搬到边缘Codex 本身是 Go 编写的独立服务但为了极致性能我们把它“翻译”成了 Cloudflare Workers 的 JS 代码。Workers 的优势在于毫秒级冷启动和全球分布劣势是不能直接读取原始 TCP/TLS 层数据所以 JA3 检测得在 Codex 层做。我们的集成方案是Cloudflare WAF 先筛一遍在 Cloudflare 控制台开启“Bot Fight Mode”并自定义规则http.request.headers[user-agent] contains python and http.request.uri.path matches ^/api/→ Blockip.src in {192.0.2.0/24, 203.0.113.0/24}已知恶意 IP 段→ BlockWorkers 做二次精判创建一个 Worker代码核心逻辑如下export default { async fetch(request, env) { const url new URL(request.url); const ua request.headers.get(user-agent) || ; const referer request.headers.get(referer) || ; // 检查 Referer 合法性仅对 HTML 页面 if (url.pathname.endsWith(.html) !referer.includes(ourdomain.com)) { return new Response(Forbidden, { status: 403 }); } // 检查 API 请求的 Origin if (url.pathname.startsWith(/api/) ![https://ourdomain.com, https://app.ourdomain.com].includes(request.headers.get(origin))) { return new Response(Forbidden, { status: 403 }); } // 放行继续转发到源站 return fetch(request); } };Codex 作为最终守门员Workers 放行的请求才到达我们服务器前的 Codex 实例。此时 Codex 可以做更重的检查比如解析请求体中的 JSON 参数、验证 JWT Token 签名、甚至调用 Redis 查询该 IP 的历史行为评分。这套组合让防御链条变成Cloudflare 边缘快→ Workers准→ Codex深。我们测试过从用户发起请求到收到 403 响应平均耗时 83ms其中 Cloudflare 处理占 41msWorkers 占 12msCodex 占 30ms——全部在用户可接受范围内。3.3 关键参数调优如何避免误杀真实用户参数调优是成败关键。我们踩过最大的坑是初期把ja3_hash黑名单设得太宽结果把一批使用旧版 Edge 浏览器的企业用户挡在外面。以下是我们的调优经验JA3 黑名单更新频率每周从 SSL Labs 和 JA3 Community Repo 获取最新 hash但只加入“确认用于恶意爬虫”的条目。我们建了个内部表记录每个 hash 对应的 UA、IP 归属、请求路径连续 3 天出现 100 次异常请求才入库。User-Agent 白名单机制对Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)这类通用 UA不直接 block而是降权——返回 200 但设置X-RateLimit-Remaining: 1限制其每小时最多访问 10 次。真实用户不会察觉爬虫却因速率限制而失效。Referer 检查的容错设计某些 RSS 阅读器、邮件客户端点击链接时 Referer 为空我们允许Referer为空但Sec-Fetch-Site为none的请求访问首页但禁止其访问/api/articles。判断依据是Sec-Fetch-Site: none表示请求来自地址栏直接输入或书签属于合法场景。实操心得上线前务必做“灰度发布”。我们先对 5% 的流量启用 Codex用 Prometheus 监控codex_blocked_requests_total和codex_false_positive_rate两个指标。当误杀率超过 0.05% 时自动回滚规则版本。这个机制帮我们避开了两次重大事故。4. 实操全流程从零部署 Codex Cloudflare 防御体系4.1 环境准备与依赖安装我们采用 Docker Compose 部署 Codex确保环境一致性。服务器要求Ubuntu 22.04 LTS4 核 CPU8GB 内存50GB SSD。Cloudflare 方面需已将域名接入并启用代理橙色云图标。步骤 1安装 Docker 与 Docker Compose# 更新系统 sudo apt update sudo apt upgrade -y # 安装 Docker curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh sudo usermod -aG docker $USER sudo systemctl enable docker # 安装 Docker Compose sudo curl -L https://github.com/docker/compose/releases/download/v2.23.0/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose sudo chmod x /usr/local/bin/docker-compose步骤 2获取 Codex 镜像与配置文件Codex 官方镜像托管在 GitHub Container Registry。我们不用latest标签而是固定版本v1.4.2避免意外升级引入 bug# 创建项目目录 mkdir -p ~/codex-guardian cd ~/codex-guardian # 拉取镜像需登录 GitHub docker login ghcr.io docker pull ghcr.io/codex-anti-crawler/codex:v1.4.2 # 创建配置目录 mkdir -p config rules logs步骤 3编写核心配置文件config/codex.yaml是主配置# codex.yaml server: port: 8080 host: 0.0.0.0 timeout: 30s upstream: url: http://host.docker.internal:3000 # 指向你的 Node.js/PHP 应用 timeout: 20s rules: - file: /app/rules/block-bots.yaml - file: /app/rules/block-api.yaml - file: /app/rules/allow-whitelist.yaml logging: level: info file: /app/logs/codex.log max_size: 10 max_backups: 5 max_age: 30注意upstream.url的写法host.docker.internal是 Docker 为容器提供的特殊 DNS指向宿主机这样 Codex 就能访问宿主机上运行的应用服务如localhost:3000。如果你的应用也在 Docker 中需用 Docker 网络别名。4.2 编写并加载规则文件在rules/目录下创建三个规则文件rules/block-bots.yaml拦截已知爬虫rules: - id: block-scrapy match: headers: user_agent: .*Scrapy.* action: block log: true - id: block-playwright match: headers: user_agent: .*HeadlessChrome.*Playwright.* action: blockrules/block-api.yaml保护 API 接口rules: - id: block-api-no-origin match: method: GET|POST path: ^/api/.* headers: origin: action: block - id: block-api-bad-origin match: method: GET|POST path: ^/api/.* headers: origin: !https://ourdomain.com|https://app.ourdomain.com action: blockrules/allow-whitelist.yaml白名单放行rules: - id: allow-cloudflare-healthcheck match: headers: user_agent: cloudflare-alive action: allow - id: allow-monitoring match: headers: user_agent: UptimeRobot action: allow提示action: allow表示明确放行优先级高于block。Codex 规则是按文件顺序加载再按规则 ID 字典序执行所以白名单文件要放在最后加载确保它覆盖前面的 block 规则。4.3 Docker Compose 部署与启动docker-compose.yml文件如下version: 3.8 services: codex: image: ghcr.io/codex-anti-crawler/codex:v1.4.2 container_name: codex-guardian ports: - 8080:8080 volumes: - ./config:/app/config - ./rules:/app/rules - ./logs:/app/logs restart: unless-stopped networks: - webnet # 你的应用服务示例Node.js app: image: node:18-alpine working_dir: /app volumes: - ./my-app:/app command: npm start ports: - 3000:3000 networks: - webnet networks: webnet: driver: bridge启动命令# 构建并启动 docker-compose up -d # 查看日志 docker-compose logs -f codex # 验证 Codex 是否健康 curl http://localhost:8080/healthz # 返回 {status:ok} 即成功此时 Codex 已在localhost:8080监听所有发往它的请求会先经规则过滤再转发给app服务localhost:3000。4.4 Cloudflare 配置让流量先过边缘关卡登录 Cloudflare 控制台进入你的域名设置WAF 设置进入 Security → WAF → Managed Rules启用 “Cloudflare Bot Fight Mode”在 Custom Rules 中添加两条规则名称Block Python Requests to APIExpression(http.request.headers[user-agent] contains python and http.request.uri.path matches ^/api/)ActionBlock名称Rate Limit Aggressive CrawlersExpressionhttp.request.headers[user-agent] contains curl or http.request.headers[user-agent] contains wgetActionRate LimitRate10 requests per 1 minutePage Rule 设置可选增强控制创建 Page Rule*yourdomain.com/api/*设置Disable Performance关闭 Cloudflare 缓存确保 Codex 能看到原始请求、Disable Apps禁用 Cloudflare Apps避免干扰DNS 设置确保你的源站 IP即运行 Docker 的服务器 IP在 DNS 记录中是灰色云DNS only而不是橙色云Proxied。因为我们要让流量先到 Codex再由 Codex 转发而不是让 Cloudflare 直接代理到源站。最后在你的 Nginx 或 Caddy 反向代理配置中把上游地址从http://localhost:3000改为http://localhost:8080Codex 的监听地址。重启代理服务整个链路就通了。5. 常见问题与排查技巧实录那些深夜救火的真实案例5.1 问题速查表高频故障与一键修复现象可能原因排查命令解决方案所有请求都 502 Bad GatewayCodex 服务未启动或端口冲突docker ps -a、netstat -tuln | grep 8080docker-compose down docker-compose up -d检查是否有其他进程占用了 8080 端口真实用户偶尔 403Referer 检查过于严格grep block-no-referer-api ~/codex-guardian/logs/codex.log | head -20在block-api.yaml中增加match.headers.referer: !^https?://.*\.google\.com.*放行 Google 搜索结果跳转爬虫仍能获取数据规则未覆盖新 UAtail -100 ~/codex-guardian/logs/codex.log | grep blocked | awk {print $10} | sort | uniq -c | sort -nr从日志中提取高频 UA添加到block-bots.yaml然后docker-compose restart codexCloudflare 显示 Error 520Codex 返回非标准响应curl -v http://localhost:8080/api/test检查 Codex 配置中upstream.url是否正确确保应用服务如 Node.js已启动并监听 3000 端口日志文件爆炸式增长日志级别设为 debugcat ~/codex-guardian/config/codex.yaml | grep level修改logging.level: info重启 Codex5.2 我踩过的三个大坑及独家修复技巧坑一Cloudflare 的 “Cache Everything” 规则与 Codex 冲突现象开启 Cloudflare 的 “Cache Everything” Page Rule 后Codex 规则完全失效所有请求都直接缓存返回。原因Cloudflare 缓存的是 Codex 处理后的响应而不是原始请求。一旦缓存命中请求根本不会到达 Codex。修复技巧在 Page Rule 中对/api/*路径明确设置Cache Level: Bypass并添加Edge Cache TTL: 0。这样API 请求永远不缓存确保每次都能过 Codex。坑二Docker 容器内无法解析host.docker.internal现象Codex 启动报错dial tcp: lookup host.docker.internal: no such host。原因较新版本的 Docker Desktop 默认禁用此特性或 Linux 服务器未启用。修复技巧Linux 服务器编辑/etc/docker/daemon.json添加{ dns: [8.8.8.8], default-address-pools: [ { base: 172.80.0.0/16, size: 24 } ] }然后sudo systemctl restart docker。更稳妥的做法是在docker-compose.yml中显式添加网络别名services: codex: # ... 其他配置 extra_hosts: - host.docker.internal:host-gateway坑三JA3 指纹库更新后误杀率飙升现象某天凌晨误杀率从 0.02% 突然升至 1.2%大量用户投诉打不开网站。原因我们同步了一个第三方 JA3 库其中一条 hasha1b2c3d4e5f6...实际对应的是某款国产浏览器的旧版内核而该浏览器在国内市场占有率高达 18%。修复技巧立即回滚规则版本并建立“JA3 指纹沙盒验证流程”新 hash 必须先在测试环境用真实设备iOS、Android、Windows、macOS访问确认无误后再上线。我们为此写了自动化脚本用 Puppeteer 启动 10 种浏览器逐一访问/test-ja3接口记录其 JA3 hash 并比对黑名单。5.3 性能监控与持续优化让防御系统自己进化防御不是一劳永逸。我们用三套监控保障系统健康Codex 自身指标Codex 暴露/metrics端点Prometheus 抓取codex_blocked_requests_total、codex_request_duration_seconds、codex_upstream_latency_seconds。当codex_request_duration_seconds的 99 分位超过 150ms自动告警。Cloudflare 指标在 Cloudflare Analytics 中创建自定义仪表盘监控 “Bot Score” 分布、 “Threat Score” 趋势、以及 “Blocked Requests” 的 ASN 来源。我们发现某次攻击来自俄罗斯的 AS47762立刻在 WAF 中添加 ASN 封禁。业务层反馈在前端埋点当页面 JS 检测到document.referrer为空且performance.navigation.type 1即 reload就上报一次“疑似爬虫访问”。这个数据与 Codex 日志交叉分析能发现漏网之鱼。最后分享一个真实优化案例我们发现某款爬虫用curl -H User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36伪装UA 完全合规但它的Accept头是application/json, text/plain, */*而真实 Chrome 访问 HTML 页面时Accept必然是text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8。于是我们在block-bots.yaml中加了一条规则- id: block-chrome-accept-mismatch match: headers: user_agent: .*Chrome/[0-9]\\.[0-9]\\.[0-9]\\.[0-9].* accept: !text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8 action: block上线后该爬虫的请求量一周内下降 99.7%。这再次证明真正的防御不在表面声明而在行为细节。我在实际运维中越来越确信对抗内容盗用拼的不是谁的工具更贵而是谁的规则更细、谁的监控更准、谁的迭代更快。Codex 不是银弹但它给了我们一把足够锋利的刀——而怎么用这把刀才是真功夫。