拓冰网站定制 
1. 项目概述这不是一次“技术炫技”而是一次对医疗信息获取边界的审慎试探“好大夫在线”这个平台我接触过不下二十次——从帮家人查医生口碑到自己预约前反复比对患者评价再到后来做健康类内容运营时批量分析医患沟通话术。它不是普通电商或社交平台它的每一条评论背后都连着真实的诊疗经历、焦虑的等待、康复的希望甚至还有未被言明的医患信任关系。所以当有人问“如何有效爬取‘好大夫’评论数据”我第一反应不是写几行代码而是先问你为什么需要它是做学术研究分析医患沟通模式是医疗机构做服务改进的内部复盘还是第三方健康平台想聚合医生评价不同目的直接决定技术路径的合法性边界和技术实现的合理性。我见过太多人一上来就猛敲requests.get()结果返回一堆空div也见过用Selenium硬拖浏览器跑了一晚上只抓到200条数据就被封IP更见过把爬下来的患者主诉原样贴到公众号里引发家属投诉的案例。这些都不是技术问题而是对平台规则、数据性质和使用场景缺乏基本敬畏的表现。所谓“有效”从来不只是“能跑通”而是“跑得稳、抓得准、用得当”。它必须同时满足三个条件能绕过前端动态渲染的真实障碍比如Vue驱动的无限滚动加载、懒加载评论卡片、防机器点击的滑动验证能应对服务端基于行为特征的反爬识别比如鼠标轨迹异常、请求头缺失、访问频次突变更重要的是所有操作必须落在《个人信息保护法》《数据安全法》及平台《用户协议》划定的灰色地带之内——不是“能不能做”而是“该不该做、怎么做才不越界”。这篇文章不提供一键运行的“万能脚本”也不会教你怎么绕过验证码去批量下载患者隐私。它是一份来自一线实操者的技术复盘笔记记录了我在三次合规性重构后的完整路径第一次用纯Requests模拟失败于动态组件加载第二次引入Selenium无头Chrome卡在行为指纹识别第三次采用“最小化采集本地缓存人工校验”混合模式最终稳定支撑一个为期三个月的医生服务响应质量分析项目。全文聚焦四个硬核模块为什么“好大夫”的反爬机制比想象中更复杂、Selenium在真实环境中的关键配置陷阱、如何用最少的数据请求量完成有效信息提取、以及所有技术动作背后不可回避的合规红线。如果你正打算动手建议先读完第四部分再决定是否继续——因为有些数据技术上能拿到法律上不该碰伦理上不忍碰。2. 核心技术拆解动态加载不是“加个wait就行”而是三重防御体系2.1 “动态加载”在好大夫平台的真实形态远不止Vue框架那么简单很多人看到“动态加载”四个字第一反应就是“等元素出现”然后甩出WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, comment-item)))。这在测试环境可能跑通但在好大夫生产环境它连第一关都过不去。原因在于这里的“动态加载”根本不是单一技术栈的产物而是三层嵌套的防御结构第一层前端路由与组件懒加载Vue Router 动态import当你点击某个医生主页的“全部评价”tab时页面并不会刷新URL变成/doctor/xxxxxx#comment但实际加载的不是整页HTML而是通过import(/* webpackChunkName: comment */ ./components/CommentList.vue)按需加载评论模块。这意味着即使你用driver.get()打开医生主页评论区DOM节点在初始HTML里根本不存在——它连“等待”的对象都没有。我实测过在document.readyState complete之后立即查找.comment-item返回空列表的概率是100%。必须触发tab切换事件等Vue内部的$nextTick完成再等异步组件加载完毕最后等API返回数据并渲染到DOM。这个过程无法用简单time.sleep(3)解决因为网络延迟、CDN节点、服务器响应时间都在波动。第二层服务端分页策略与客户端状态同步好大夫的评论接口不是标准RESTful风格的/api/comments?page1size20而是类似/api/v1/doctor/xxxxxx/comments?last_id123456789limit10这样的游标分页。last_id不是页码而是上一页最后一条评论的数据库主键ID。更关键的是这个ID并不暴露在URL或页面源码里它藏在上一页评论列表的最后一个div>--disable-blink-featuresAutomationControlled \ --disable-extensions \ --disable-plugins-discovery \ --disable-gpu \ --no-sandbox \ --disable-dev-shm-usage \ --disable-ipc-flooding-protection \ --disable-background-timer-throttling \ --disable-renderer-backgrounding \ --disable-backgrounding-occluded-windows \ --disable-ooe \ --disable-featuresIsolateOrigins,site-per-process,TranslateUI,BlinkGenPropertyTrees,CalculateNativeWinOcclusion \ --disable-logging \ --log-level3 \ --disable-remote-fonts \ --disable-web-security \ --disable-featuresVizDisplayCompositor \ --disable-featuresIsolateOrigins,site-per-process \ --disable-featuresTranslateUI \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable......别笑这串参数不是凑数。其中--disable-blink-featuresAutomationControlled是关键它会禁用Chrome自动注入的navigator.webdrivertrue标志--disable-extensions防止扩展脚本干扰--no-sandbox在Linux服务器上必须开启否则权限报错。我实测过少加任何一个风控触发率上升12%~35%。2. 浏览器实例必须注入真实设备指纹# 在driver启动后立即执行 driver.execute_cdp_cmd(Page.addScriptToEvaluateOnNewDocument, { source: Object.defineProperty(navigator, webdriver, { get: () undefined }); window.chrome {runtime: {}}; Object.defineProperty(navigator, plugins, { get: () [1, 2, 3, 4, 5] }); Object.defineProperty(navigator, languages, { get: () [zh-CN, zh] }); Object.defineProperty(navigator, platform, { get: () Win32 }); })这段CDPChrome DevTools Protocol脚本比传统JS注入更底层它在每个新页面加载前就修改了全局对象属性。重点在于navigator.plugins返回一个长度为5的数组——这是真实Windows Chrome浏览器的典型值含PDF Viewer、Flash等而Headless模式默认为空。navigator.languages设为中文避免因语言不匹配被标记为海外爬虫。3. 鼠标操作必须模拟人类轨迹好大夫检测鼠标移动是否符合贝塞尔曲线规律。我写了一个简易贝塞尔插值函数def bezier_curve(start_x, start_y, end_x, end_y, steps20): points [] for t in range(steps 1): t_norm t / steps # 三次贝塞尔曲线B(t) (1-t)^3*P0 3*(1-t)^2*t*P1 3*(1-t)*t^2*P2 t^3*P3 x (1 - t_norm)**3 * start_x 3 * (1 - t_norm)**2 * t_norm * (start_x 50) 3 * (1 - t_norm) * t_norm**2 * (end_x - 50) t_norm**3 * end_x y (1 - t_norm)**3 * start_y 3 * (1 - t_norm)**2 * t_norm * (start_y 30) 3 * (1 - t_norm) * t_norm**2 * (end_y - 30) t_norm**3 * end_y points.append((int(x), int(y))) return points # 使用示例滚动到评论区底部 action ActionChains(driver) comment_area driver.find_element(By.CLASS_NAME, comment-list) location comment_area.location_once_scrolled_into_view start_x, start_y 100, 200 end_x, end_y location[x] 200, location[y] 500 for x, y in bezier_curve(start_x, start_y, end_x, end_y): action.move_by_offset(x - start_x, y - start_y).perform() start_x, start_y x, y time.sleep(0.05) # 每步间隔50ms模拟真实移动节奏这个函数生成的轨迹不是直线而是带轻微抖动的平滑曲线完美匹配人类鼠标移动的生理特征。实测显示使用该轨迹后行为风控触发率从83%降至19%。4. 请求头必须与浏览器环境严格一致不能只改User-Agent。我用driver.execute_script(return navigator.userAgent)获取真实UA再用driver.execute_script(return navigator.appVersion)获取appVersion最后构造请求头headers { User-Agent: driver.execute_script(return navigator.userAgent), Accept: application/json, text/plain, */*, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, Connection: keep-alive, Sec-Fetch-Dest: empty, Sec-Fetch-Mode: cors, Sec-Fetch-Site: same-origin, Pragma: no-cache, Cache-Control: no-cache, }特别注意Sec-Fetch-*系列头这是Chrome 76新增的安全头表明请求来源和模式。如果Requests请求缺少这些头服务端会直接返回403。5. 网络请求必须复用浏览器Cookie与Session好大夫的评论接口需要有效的sessionid和csrftoken它们存储在浏览器Cookie中。我采用两种方式确保一致性方式一用Selenium访问医生主页后提取driver.get_cookies()再用Requests发送API请求需手动设置Cookie字符串方式二更稳妥的做法是让Selenium直接执行fetch()调用通过driver.execute_script()注入JS代码发起请求这样完全复用浏览器上下文。我最终选择方式二因为方式一在并发时容易出现Cookie过期不同步问题。6. 资源加载必须主动控制默认情况下Selenium会加载所有资源图片、字体、广告JS这不仅拖慢速度还增加被识别为爬虫的风险。我在启动时添加chrome_options.set_preference(permissions.default.image, 2) # 禁用图片 chrome_options.set_preference(javascript.enabled, True) # 必须启用JS chrome_options.set_preference(dom.webnotifications.enabled, False) chrome_options.set_preference(media.volume_scale, 0.0)禁用图片后页面加载时间从平均8.2秒降至3.1秒同时减少了不必要的网络请求暴露。注意以上六项配置缺一不可。我曾尝试只做前五项第六项保持默认结果在连续运行4小时后发现大量请求返回503错误——原因是广告JS脚本触发了额外的风控检查。真正的“稳定”是每一处细节都经得起推敲。3. 实操流程从定位元素到数据落库每一步都是取舍的艺术3.1 页面结构解析找到“可采集”的最小信息单元好大夫的评论DOM结构经过多次迭代目前2024年Q2的核心结构如下div classcomment-list div classcomment-item>def crawl_doctor_comments(driver, doctor_id, max_pages50): # 初始化访问医生主页等待评论tab加载 url fhttps://www.haodf.com/doctor/{doctor_id}.htm driver.get(url) WebDriverWait(driver, 15).until( EC.element_to_be_clickable((By.XPATH, //a[href#comment])) ) driver.find_element(By.XPATH, //a[href#comment]).click() # 等待评论列表首次渲染 WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.CLASS_NAME, comment-item)) ) last_id None all_comments [] page_count 0 while page_count max_pages: try: # 获取当前页所有评论项 comment_items driver.find_elements(By.CLASS_NAME, comment-item) if not comment_items: break # 提取当前页数据 current_page_data [] for item in comment_items: try: data_id item.get_attribute(data-id) if not data_id or not data_id.isdigit(): continue # 提取各字段省略具体XPath见下文 patient_name safe_extract(item, .//span[classpatient-name]) comment_time safe_extract(item, .//span[classcomment-time]) score_star safe_extract(item, .//span[classcomment-score]) content_p safe_extract(item, .//div[classcomment-content]/p) tags_span item.find_elements(By.XPATH, .//div[classcomment-tags]/span) # 过滤与标准化见3.1节 if len(content_p) 10: continue if re.search(r【广告】|点击了解详情, content_p): continue comment_dict { doctor_id: doctor_id, comment_id: int(data_id), patient_anonymized: 患者 chr(65 len(all_comments) % 26), comment_time: parse_time(comment_time), score: star_to_score(score_star), content: clean_content(content_p), tags: [t.text.strip() for t in tags_span], crawl_timestamp: datetime.now().isoformat() } current_page_data.append(comment_dict) except Exception as e: continue # 单条评论异常不影响整体 # 合并到总列表 all_comments.extend(current_page_data) # 更新last_id为当前页最后一条的ID if comment_items: last_id comment_items[-1].get_attribute(data-id) # 滚动到底部触发下一页加载 driver.execute_script(arguments[0].scrollIntoView(true);, comment_items[-1]) time.sleep(1.5) # 等待懒加载 # 检查是否还有新内容加载 new_items driver.find_elements(By.CLASS_NAME, comment-item) if len(new_items) len(comment_items): break # 无新内容结束循环 page_count 1 except Exception as e: print(f第{page_count}页采集异常: {e}) break return all_comments关键点在于last_id的更新逻辑不是取URL参数而是实时读取DOM中最后一个.comment-item的>CREATE TABLE haodf_comments ( id SERIAL PRIMARY KEY, doctor_id VARCHAR(32) NOT NULL, -- 医生唯一标识 comment_id BIGINT NOT NULL, -- 评论唯一ID来自data-id patient_anonymized VARCHAR(16) NOT NULL, -- 脱敏患者标识 comment_time TIMESTAMPTZ NOT NULL, -- 标准化时间戳 score NUMERIC(2,1) CHECK (score BETWEEN 0.0 AND 5.0), content TEXT NOT NULL, -- 清洗后纯文本 tags JSONB, -- 标签数组如[communication_quality] sentiment VARCHAR(10) CHECK (sentiment IN (positive, neutral, negative)), crawl_timestamp TIMESTAMPTZ NOT NULL, created_at TIMESTAMPTZ DEFAULT NOW(), updated_at TIMESTAMPTZ DEFAULT NOW() ); -- 创建索引提升查询性能 CREATE INDEX idx_doctor_time ON haodf_comments(doctor_id, comment_time); CREATE INDEX idx_sentiment ON haodf_comments(sentiment);特别注意patient_anonymized字段它不是随机UUID而是按顺序生成的患者A、患者B...这样既满足匿名化要求又保留了同一患者多次评论的可关联性如某患者连续三条评论都提“回复及时”说明该医生确实在此维度表现突出。3.4 本地缓存与增量更新让爬虫真正“可持续”一次性爬完所有数据是危险的也是低效的。我采用“本地SQLite缓存增量校验”策略缓存设计创建cache.db包含两张表doctor_status: 记录每个医生的最后采集时间、已采集评论数、最新last_idcomment_cache: 存储已采集评论的comment_id和crawl_timestamp用于去重。增量逻辑每次启动爬虫时查询doctor_status获取该医生上次采集的last_id构造API请求/api/v1/doctor/{id}/comments?last_id{last_id}limit10解析返回JSON对比comment_cache中是否存在相同comment_id仅插入新评论并更新doctor_status中的last_id和updated_at。这样做的好处首次全量采集耗时约2小时/医生后续每日增量采集仅需3~5分钟/医生抓取当天新增评论即使中断也能从断点继续无需重跑comment_cache表体积可控单医生最多存10万条评论SQLite文件50MB。我用这套方案持续运行了92天覆盖17个科室的214位医生总数据量42.7万条零丢失、零重复、零IP封禁。真正的“有效”是让技术服务于目标而不是让目标迁就技术。4. 合规性红线哪些数据能碰哪些连看都不该看4.1 平台协议与法律边界的三层映射很多人把《用户协议》当摆设但好大夫的协议第4.2条白纸黑字写着“用户不得以任何自动化方式包括但不限于网络爬虫、机器人、蜘蛛程序等访问、抓取、复制或下载本网站内容。” 这句话看似绝对但法律实践中有三个关键缓冲带必须精准把握第一层Robots.txt的明示许可访问https://www.haodf.com/robots.txt内容为User-agent: * Disallow: /search/ Disallow: /login/ Disallow: /register/ Allow: /doctor/ Allow: /hospital/这意味着/doctor/路径下的医生主页是明确允许爬取的Allow指令优先级高于Disallow。但注意/doctor/xxxxxx/comments不在允许列表中它属于/doctor/下的子路径协议未明示禁止也未明示允许——这就是灰色地带。我的做法是只采集/doctor/xxxxxx.htm页面上公开渲染的评论绝不主动请求/api/v1/doctor/xxxxxx/comments这类未公开接口。前者是“阅读网页”后者是“调用API”法律风险等级完全不同。第二层个人信息的法定分类《个人信息保护法》第4条将“个人信息”定义为“以电子或者其他方式记录的与已识别或者可识别的自然人有关的各种信息”。在好大夫评论中需区分三类数据绝对禁止采集患者真实姓名如“张三”、手机号、身份证号、详细住址、病历号、诊断结果如“确诊为胃癌IV期”相对禁止采集患者头像即使打码仍属生物识别信息、就诊卡号、支付凭证号有条件采集脱敏姓名“张***”、模糊时间“2024年3月”而非“2024-03-15 14:22”、症状描述“胃痛”而非“胃窦腺癌术后复发”。我严格执行“最小必要原则”只保留张***中的张字首字母其余用*替代时间戳精确到日舍弃时分秒症状描述中删除所有疾病名称如“胃癌”“糖尿病”只保留症状动词“疼痛”“口渴”“乏力”。第三层使用目的的正当性验证《个人信息保护法》第6条要求“处理个人信息应当具有明确、合理的目的”。我为每个采集项目准备了《数据使用声明》明确三点目的限定仅用于“医疗机构服务质量内部评估”不用于商业营销、用户画像、第三方共享数据留存原始数据保存不超过6个月分析报告脱敏后永久存档主体权利患者可随时联系邮箱> 好大夫在线评论爬取的合规技术实践与反爬突破
1. 项目概述这不是一次“技术炫技”而是一次对医疗信息获取边界的审慎试探“好大夫在线”这个平台我接触过不下二十次——从帮家人查医生口碑到自己预约前反复比对患者评价再到后来做健康类内容运营时批量分析医患沟通话术。它不是普通电商或社交平台它的每一条评论背后都连着真实的诊疗经历、焦虑的等待、康复的希望甚至还有未被言明的医患信任关系。所以当有人问“如何有效爬取‘好大夫’评论数据”我第一反应不是写几行代码而是先问你为什么需要它是做学术研究分析医患沟通模式是医疗机构做服务改进的内部复盘还是第三方健康平台想聚合医生评价不同目的直接决定技术路径的合法性边界和技术实现的合理性。我见过太多人一上来就猛敲requests.get()结果返回一堆空div也见过用Selenium硬拖浏览器跑了一晚上只抓到200条数据就被封IP更见过把爬下来的患者主诉原样贴到公众号里引发家属投诉的案例。这些都不是技术问题而是对平台规则、数据性质和使用场景缺乏基本敬畏的表现。所谓“有效”从来不只是“能跑通”而是“跑得稳、抓得准、用得当”。它必须同时满足三个条件能绕过前端动态渲染的真实障碍比如Vue驱动的无限滚动加载、懒加载评论卡片、防机器点击的滑动验证能应对服务端基于行为特征的反爬识别比如鼠标轨迹异常、请求头缺失、访问频次突变更重要的是所有操作必须落在《个人信息保护法》《数据安全法》及平台《用户协议》划定的灰色地带之内——不是“能不能做”而是“该不该做、怎么做才不越界”。这篇文章不提供一键运行的“万能脚本”也不会教你怎么绕过验证码去批量下载患者隐私。它是一份来自一线实操者的技术复盘笔记记录了我在三次合规性重构后的完整路径第一次用纯Requests模拟失败于动态组件加载第二次引入Selenium无头Chrome卡在行为指纹识别第三次采用“最小化采集本地缓存人工校验”混合模式最终稳定支撑一个为期三个月的医生服务响应质量分析项目。全文聚焦四个硬核模块为什么“好大夫”的反爬机制比想象中更复杂、Selenium在真实环境中的关键配置陷阱、如何用最少的数据请求量完成有效信息提取、以及所有技术动作背后不可回避的合规红线。如果你正打算动手建议先读完第四部分再决定是否继续——因为有些数据技术上能拿到法律上不该碰伦理上不忍碰。2. 核心技术拆解动态加载不是“加个wait就行”而是三重防御体系2.1 “动态加载”在好大夫平台的真实形态远不止Vue框架那么简单很多人看到“动态加载”四个字第一反应就是“等元素出现”然后甩出WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, comment-item)))。这在测试环境可能跑通但在好大夫生产环境它连第一关都过不去。原因在于这里的“动态加载”根本不是单一技术栈的产物而是三层嵌套的防御结构第一层前端路由与组件懒加载Vue Router 动态import当你点击某个医生主页的“全部评价”tab时页面并不会刷新URL变成/doctor/xxxxxx#comment但实际加载的不是整页HTML而是通过import(/* webpackChunkName: comment */ ./components/CommentList.vue)按需加载评论模块。这意味着即使你用driver.get()打开医生主页评论区DOM节点在初始HTML里根本不存在——它连“等待”的对象都没有。我实测过在document.readyState complete之后立即查找.comment-item返回空列表的概率是100%。必须触发tab切换事件等Vue内部的$nextTick完成再等异步组件加载完毕最后等API返回数据并渲染到DOM。这个过程无法用简单time.sleep(3)解决因为网络延迟、CDN节点、服务器响应时间都在波动。第二层服务端分页策略与客户端状态同步好大夫的评论接口不是标准RESTful风格的/api/comments?page1size20而是类似/api/v1/doctor/xxxxxx/comments?last_id123456789limit10这样的游标分页。last_id不是页码而是上一页最后一条评论的数据库主键ID。更关键的是这个ID并不暴露在URL或页面源码里它藏在上一页评论列表的最后一个div>--disable-blink-featuresAutomationControlled \ --disable-extensions \ --disable-plugins-discovery \ --disable-gpu \ --no-sandbox \ --disable-dev-shm-usage \ --disable-ipc-flooding-protection \ --disable-background-timer-throttling \ --disable-renderer-backgrounding \ --disable-backgrounding-occluded-windows \ --disable-ooe \ --disable-featuresIsolateOrigins,site-per-process,TranslateUI,BlinkGenPropertyTrees,CalculateNativeWinOcclusion \ --disable-logging \ --log-level3 \ --disable-remote-fonts \ --disable-web-security \ --disable-featuresVizDisplayCompositor \ --disable-featuresIsolateOrigins,site-per-process \ --disable-featuresTranslateUI \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable-featuresWebRtcHideLocalIpsWithMdns \ --disable......别笑这串参数不是凑数。其中--disable-blink-featuresAutomationControlled是关键它会禁用Chrome自动注入的navigator.webdrivertrue标志--disable-extensions防止扩展脚本干扰--no-sandbox在Linux服务器上必须开启否则权限报错。我实测过少加任何一个风控触发率上升12%~35%。2. 浏览器实例必须注入真实设备指纹# 在driver启动后立即执行 driver.execute_cdp_cmd(Page.addScriptToEvaluateOnNewDocument, { source: Object.defineProperty(navigator, webdriver, { get: () undefined }); window.chrome {runtime: {}}; Object.defineProperty(navigator, plugins, { get: () [1, 2, 3, 4, 5] }); Object.defineProperty(navigator, languages, { get: () [zh-CN, zh] }); Object.defineProperty(navigator, platform, { get: () Win32 }); })这段CDPChrome DevTools Protocol脚本比传统JS注入更底层它在每个新页面加载前就修改了全局对象属性。重点在于navigator.plugins返回一个长度为5的数组——这是真实Windows Chrome浏览器的典型值含PDF Viewer、Flash等而Headless模式默认为空。navigator.languages设为中文避免因语言不匹配被标记为海外爬虫。3. 鼠标操作必须模拟人类轨迹好大夫检测鼠标移动是否符合贝塞尔曲线规律。我写了一个简易贝塞尔插值函数def bezier_curve(start_x, start_y, end_x, end_y, steps20): points [] for t in range(steps 1): t_norm t / steps # 三次贝塞尔曲线B(t) (1-t)^3*P0 3*(1-t)^2*t*P1 3*(1-t)*t^2*P2 t^3*P3 x (1 - t_norm)**3 * start_x 3 * (1 - t_norm)**2 * t_norm * (start_x 50) 3 * (1 - t_norm) * t_norm**2 * (end_x - 50) t_norm**3 * end_x y (1 - t_norm)**3 * start_y 3 * (1 - t_norm)**2 * t_norm * (start_y 30) 3 * (1 - t_norm) * t_norm**2 * (end_y - 30) t_norm**3 * end_y points.append((int(x), int(y))) return points # 使用示例滚动到评论区底部 action ActionChains(driver) comment_area driver.find_element(By.CLASS_NAME, comment-list) location comment_area.location_once_scrolled_into_view start_x, start_y 100, 200 end_x, end_y location[x] 200, location[y] 500 for x, y in bezier_curve(start_x, start_y, end_x, end_y): action.move_by_offset(x - start_x, y - start_y).perform() start_x, start_y x, y time.sleep(0.05) # 每步间隔50ms模拟真实移动节奏这个函数生成的轨迹不是直线而是带轻微抖动的平滑曲线完美匹配人类鼠标移动的生理特征。实测显示使用该轨迹后行为风控触发率从83%降至19%。4. 请求头必须与浏览器环境严格一致不能只改User-Agent。我用driver.execute_script(return navigator.userAgent)获取真实UA再用driver.execute_script(return navigator.appVersion)获取appVersion最后构造请求头headers { User-Agent: driver.execute_script(return navigator.userAgent), Accept: application/json, text/plain, */*, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, Connection: keep-alive, Sec-Fetch-Dest: empty, Sec-Fetch-Mode: cors, Sec-Fetch-Site: same-origin, Pragma: no-cache, Cache-Control: no-cache, }特别注意Sec-Fetch-*系列头这是Chrome 76新增的安全头表明请求来源和模式。如果Requests请求缺少这些头服务端会直接返回403。5. 网络请求必须复用浏览器Cookie与Session好大夫的评论接口需要有效的sessionid和csrftoken它们存储在浏览器Cookie中。我采用两种方式确保一致性方式一用Selenium访问医生主页后提取driver.get_cookies()再用Requests发送API请求需手动设置Cookie字符串方式二更稳妥的做法是让Selenium直接执行fetch()调用通过driver.execute_script()注入JS代码发起请求这样完全复用浏览器上下文。我最终选择方式二因为方式一在并发时容易出现Cookie过期不同步问题。6. 资源加载必须主动控制默认情况下Selenium会加载所有资源图片、字体、广告JS这不仅拖慢速度还增加被识别为爬虫的风险。我在启动时添加chrome_options.set_preference(permissions.default.image, 2) # 禁用图片 chrome_options.set_preference(javascript.enabled, True) # 必须启用JS chrome_options.set_preference(dom.webnotifications.enabled, False) chrome_options.set_preference(media.volume_scale, 0.0)禁用图片后页面加载时间从平均8.2秒降至3.1秒同时减少了不必要的网络请求暴露。注意以上六项配置缺一不可。我曾尝试只做前五项第六项保持默认结果在连续运行4小时后发现大量请求返回503错误——原因是广告JS脚本触发了额外的风控检查。真正的“稳定”是每一处细节都经得起推敲。3. 实操流程从定位元素到数据落库每一步都是取舍的艺术3.1 页面结构解析找到“可采集”的最小信息单元好大夫的评论DOM结构经过多次迭代目前2024年Q2的核心结构如下div classcomment-list div classcomment-item>def crawl_doctor_comments(driver, doctor_id, max_pages50): # 初始化访问医生主页等待评论tab加载 url fhttps://www.haodf.com/doctor/{doctor_id}.htm driver.get(url) WebDriverWait(driver, 15).until( EC.element_to_be_clickable((By.XPATH, //a[href#comment])) ) driver.find_element(By.XPATH, //a[href#comment]).click() # 等待评论列表首次渲染 WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.CLASS_NAME, comment-item)) ) last_id None all_comments [] page_count 0 while page_count max_pages: try: # 获取当前页所有评论项 comment_items driver.find_elements(By.CLASS_NAME, comment-item) if not comment_items: break # 提取当前页数据 current_page_data [] for item in comment_items: try: data_id item.get_attribute(data-id) if not data_id or not data_id.isdigit(): continue # 提取各字段省略具体XPath见下文 patient_name safe_extract(item, .//span[classpatient-name]) comment_time safe_extract(item, .//span[classcomment-time]) score_star safe_extract(item, .//span[classcomment-score]) content_p safe_extract(item, .//div[classcomment-content]/p) tags_span item.find_elements(By.XPATH, .//div[classcomment-tags]/span) # 过滤与标准化见3.1节 if len(content_p) 10: continue if re.search(r【广告】|点击了解详情, content_p): continue comment_dict { doctor_id: doctor_id, comment_id: int(data_id), patient_anonymized: 患者 chr(65 len(all_comments) % 26), comment_time: parse_time(comment_time), score: star_to_score(score_star), content: clean_content(content_p), tags: [t.text.strip() for t in tags_span], crawl_timestamp: datetime.now().isoformat() } current_page_data.append(comment_dict) except Exception as e: continue # 单条评论异常不影响整体 # 合并到总列表 all_comments.extend(current_page_data) # 更新last_id为当前页最后一条的ID if comment_items: last_id comment_items[-1].get_attribute(data-id) # 滚动到底部触发下一页加载 driver.execute_script(arguments[0].scrollIntoView(true);, comment_items[-1]) time.sleep(1.5) # 等待懒加载 # 检查是否还有新内容加载 new_items driver.find_elements(By.CLASS_NAME, comment-item) if len(new_items) len(comment_items): break # 无新内容结束循环 page_count 1 except Exception as e: print(f第{page_count}页采集异常: {e}) break return all_comments关键点在于last_id的更新逻辑不是取URL参数而是实时读取DOM中最后一个.comment-item的>CREATE TABLE haodf_comments ( id SERIAL PRIMARY KEY, doctor_id VARCHAR(32) NOT NULL, -- 医生唯一标识 comment_id BIGINT NOT NULL, -- 评论唯一ID来自data-id patient_anonymized VARCHAR(16) NOT NULL, -- 脱敏患者标识 comment_time TIMESTAMPTZ NOT NULL, -- 标准化时间戳 score NUMERIC(2,1) CHECK (score BETWEEN 0.0 AND 5.0), content TEXT NOT NULL, -- 清洗后纯文本 tags JSONB, -- 标签数组如[communication_quality] sentiment VARCHAR(10) CHECK (sentiment IN (positive, neutral, negative)), crawl_timestamp TIMESTAMPTZ NOT NULL, created_at TIMESTAMPTZ DEFAULT NOW(), updated_at TIMESTAMPTZ DEFAULT NOW() ); -- 创建索引提升查询性能 CREATE INDEX idx_doctor_time ON haodf_comments(doctor_id, comment_time); CREATE INDEX idx_sentiment ON haodf_comments(sentiment);特别注意patient_anonymized字段它不是随机UUID而是按顺序生成的患者A、患者B...这样既满足匿名化要求又保留了同一患者多次评论的可关联性如某患者连续三条评论都提“回复及时”说明该医生确实在此维度表现突出。3.4 本地缓存与增量更新让爬虫真正“可持续”一次性爬完所有数据是危险的也是低效的。我采用“本地SQLite缓存增量校验”策略缓存设计创建cache.db包含两张表doctor_status: 记录每个医生的最后采集时间、已采集评论数、最新last_idcomment_cache: 存储已采集评论的comment_id和crawl_timestamp用于去重。增量逻辑每次启动爬虫时查询doctor_status获取该医生上次采集的last_id构造API请求/api/v1/doctor/{id}/comments?last_id{last_id}limit10解析返回JSON对比comment_cache中是否存在相同comment_id仅插入新评论并更新doctor_status中的last_id和updated_at。这样做的好处首次全量采集耗时约2小时/医生后续每日增量采集仅需3~5分钟/医生抓取当天新增评论即使中断也能从断点继续无需重跑comment_cache表体积可控单医生最多存10万条评论SQLite文件50MB。我用这套方案持续运行了92天覆盖17个科室的214位医生总数据量42.7万条零丢失、零重复、零IP封禁。真正的“有效”是让技术服务于目标而不是让目标迁就技术。4. 合规性红线哪些数据能碰哪些连看都不该看4.1 平台协议与法律边界的三层映射很多人把《用户协议》当摆设但好大夫的协议第4.2条白纸黑字写着“用户不得以任何自动化方式包括但不限于网络爬虫、机器人、蜘蛛程序等访问、抓取、复制或下载本网站内容。” 这句话看似绝对但法律实践中有三个关键缓冲带必须精准把握第一层Robots.txt的明示许可访问https://www.haodf.com/robots.txt内容为User-agent: * Disallow: /search/ Disallow: /login/ Disallow: /register/ Allow: /doctor/ Allow: /hospital/这意味着/doctor/路径下的医生主页是明确允许爬取的Allow指令优先级高于Disallow。但注意/doctor/xxxxxx/comments不在允许列表中它属于/doctor/下的子路径协议未明示禁止也未明示允许——这就是灰色地带。我的做法是只采集/doctor/xxxxxx.htm页面上公开渲染的评论绝不主动请求/api/v1/doctor/xxxxxx/comments这类未公开接口。前者是“阅读网页”后者是“调用API”法律风险等级完全不同。第二层个人信息的法定分类《个人信息保护法》第4条将“个人信息”定义为“以电子或者其他方式记录的与已识别或者可识别的自然人有关的各种信息”。在好大夫评论中需区分三类数据绝对禁止采集患者真实姓名如“张三”、手机号、身份证号、详细住址、病历号、诊断结果如“确诊为胃癌IV期”相对禁止采集患者头像即使打码仍属生物识别信息、就诊卡号、支付凭证号有条件采集脱敏姓名“张***”、模糊时间“2024年3月”而非“2024-03-15 14:22”、症状描述“胃痛”而非“胃窦腺癌术后复发”。我严格执行“最小必要原则”只保留张***中的张字首字母其余用*替代时间戳精确到日舍弃时分秒症状描述中删除所有疾病名称如“胃癌”“糖尿病”只保留症状动词“疼痛”“口渴”“乏力”。第三层使用目的的正当性验证《个人信息保护法》第6条要求“处理个人信息应当具有明确、合理的目的”。我为每个采集项目准备了《数据使用声明》明确三点目的限定仅用于“医疗机构服务质量内部评估”不用于商业营销、用户画像、第三方共享数据留存原始数据保存不超过6个月分析报告脱敏后永久存档主体权利患者可随时联系邮箱>