MediaCrawler快速实战：从零跑通五大平台的社交媒体数据采集

【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new

凌晨十二点，写字楼里只剩一盏灯还亮着。小陈盯着屏幕上的小红书评论区，把点赞数、评论数一行行抄进表格——这是第37篇笔记了，老板要的"粉底液口碑报告"下周一定稿。他刚想点开下一页，页面弹出一行小字："登录后才能查看更多评论。"

他深吸一口气，把骂人的话咽了回去。这已经不是他第一次为社交媒体数据采集熬夜了。

做市场调研、做内容分析、做学术研究的人，大概都经历过小陈这种时刻：明明数据就摆在平台上，你却拿不到；好不容易抓到一点，格式乱七八糟；抓多了，IP 被封，前功尽弃。

而 MediaCrawler 这个开源项目，就是冲着这些麻烦来的——它是一个一站式的社交媒体数据采集工具，同时支持小红书、抖音、快手、B站、微博五个主流平台。这篇文章，我们就从一个真实的使用视角，把它从安装到跑通、从原理到进阶完整走一遍。

先把账算清楚：为一份数据要踩多少个坑

在介绍 MediaCrawler 之前，我们先看看手动采集社交媒体数据，到底难在哪。

坑一：平台反爬一年比一年狠。各大平台都有复杂的反爬机制，你今天写好的采集脚本，明天可能就失效了。

坑二：验证码无处不在。二维码、滑块、短信验证，登录环节就能卡住一半的人。

坑三：IP 会被封。请求频率一高，平台直接拉黑你的 IP，前功尽弃。

坑四：数据结构五花八门。五个平台五种格式，有的返回 JSON，有的藏在网页里，整理起来像做拼图。

坑五：登录状态不保存。每次跑都要重新扫码登录，烦不胜烦。

这些问题单拎出来一个，都能劝退一半新手。全部撞上，就是一场灾难。

用之前 vs 用之后：同样的活，两种人生

MediaCrawler 的价值，用一段"前后对比"最直观：

说白了，MediaCrawler 就是把"采数据"这件事，从手工活变成了流水线。你只需要登录一次，剩下的交给它。

它支持的五个平台，能力各有侧重，但基础能力覆盖很全：

别急着学原理，先让第一个结果跑出来

学新工具最快的方式，永远是先跑通一个最小案例。别管原理，跟着做，十分钟内你就能看到第一批数据。

第一步：把项目拿下来。

git clone https://gitcode.com/GitHub_Trending/me/MediaCrawler-new cd MediaCrawler-new

第二步：装环境。建议用虚拟环境，避免污染系统 Python：

python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt playwright install # 安装浏览器驱动，这是模拟真实浏览器的关键

第三步：跑起来。以小红书为例，先看配置文件config/base_config.py里的基础设置：

PLATFORM = "xhs" # 要爬取的平台：xhs / dy / ks / bili / wb KEYWORDS = "python,golang" # 搜索关键词，逗号分隔 LOGIN_TYPE = "qrcode" # 登录方式：qrcode / phone / cookie SAVE_DATA_OPTION = "json" # 数据保存方式：csv / db / json

确认没问题，执行这一条命令：

python main.py --platform xhs --lt qrcode --type search

程序会自动打开浏览器，弹出二维码。用手机小红书 App 扫码登录，然后……就没有然后了，剩下的交给它。它会自动按关键词搜索笔记，把笔记信息一条条抓下来。

跑完去data/目录看一眼，你会发现数据已经安安静静躺在 JSON 文件里了。此刻你和小陈的区别是：他熬到凌晨两点，你只用了十分钟。

暂停一分钟：它凭什么能绕过平台反爬

跑通之后，你可能会好奇：同样是人家的数据，为什么自己写脚本会被封，MediaCrawler 就没事？

关键在它的原理设计——不逆向，而是搭桥。

市面上很多爬虫靠逆向加密 JS 来伪造请求，一旦平台更新，代码就废了。MediaCrawler 换了个思路：用 Playwright 驱动一个真实的浏览器，模拟真人操作，再通过执行 JS 表达式拿到一些加密参数。这样既绕过了逆向的高门槛，也极大降低了维护成本。

登录这块，它给了三种方式，按需选用：

• qrcode（二维码）：手机扫码，最安全省事，新手首选；
• phone（手机号）：短信验证码登录，支持自动转发短信（具体配置见项目里的手机号登录说明文档）；
• cookie（直接喂 Cookie）：已有登录态时直接用，连扫码都省了。

更贴心的是，登录状态会缓存下来，下次启动自动恢复登录，不用重复扫码。这就是为什么跑第二次比第一次快得多。

IP代理池：大规模采集的"保命符"

如果你只是采个二三十条数据，代理可有可无。但一旦想大批量采集，IP 封禁就是绕不过去的坎。MediaCrawler 的代理IP池管理，正是它的核心优势之一。

整个逻辑是这样的：开启代理后，程序先从代理服务商拉取一批 IP，存入缓存，建立代理IP池，然后每次请求从池子里取一个"新鲜"的 IP 来用，被用了就换下一个。流程图一画就清楚了：


MediaCrawler 代理IP池工作流程：拉取、缓存、轮换、复用，保障社交媒体数据采集的稳定性

开启方式很简单，改两个配置：

ENABLE_IP_PROXY = True # 开启 IP 代理 IP_PROXY_POOL_COUNT = 5 # 代理池大小，池子越大越安全

代理 IP 从哪来？项目默认对接的是极速HTTP这类第三方服务商。你在服务商后台选好地区、协议、数量，就能生成一个带密钥的提取链接：

代理IP服务商提取界面：地区、协议、时长可配置，生成 API 链接供爬虫拉取

密钥不建议写死在代码里。项目在proxy/proxy_ip_provider.py里通过环境变量读取，既安全又方便切换：

jisu_key = os.getenv("jisu_key", "") # 从环境变量读密钥，避免硬编码 jisu_crypto = os.getenv("jisu_crypto", "")

代理密钥通过环境变量动态配置，是代理IP池安全使用的推荐姿势

数据到手了，存成什么格式？

采集只是前半场，数据能不能直接用，取决于存储方式。MediaCrawler 提供了三种，对应三种场景：

切换方式就是改一个配置项：SAVE_DATA_OPTION = "csv"。选 DB 的话，去config/db_config.py里填好数据库连接信息即可。所有数据默认都落在项目的data/目录下，按平台自动分类，不会乱。

把工具调成你的形状：评论、并发、关键词

跑通默认配置只是开始，接下来就是让它按你的需求干活。每个功能配一个小目标，随学随用：

目标一：把评论也一起抓下来。默认不抓评论，想抓就打开开关：

ENABLE_GET_COMMENTS = True

目标二：只想抓指定的某几条内容。比如已知某条视频的 ID，直接填进列表，程序按 ID 精准抓取，不浪费流量：

XHS_SPECIFIED_ID_LIST = ["6422c2750000000027000d88", ...]

目标三：抓得再快一点。调高并发数，但别贪心，太大容易被平台盯上：

MAX_CONCURRENCY_NUM = 4 # 并发数，建议 4~8 CRAWLER_MAX_NOTES_COUNT = 20 # 单次最多抓多少条

目标四：研究某个创作者的账号。小红书支持直接抓指定创作者主页的所有笔记，把创作者 ID 填进XHS_CREATOR_ID_LIST就行。

新手最容易踩的三个坑

跑得多了，总会遇到问题。这里把最常见的三个先告诉你，省得你踩：

坑一：登录失败。先检查网络，再试着删掉浏览器缓存目录重新登录，或者换个登录方式（二维码换手机号、手机号换 Cookie）。

坑二：跑得太慢。看看是不是没开代理、并发数太低。轻度使用 2~3 个代理 IP 就够，中度用 5~10 个。

坑三：数据不全。多半是触发了平台限制，检查CRAWLER_MAX_NOTES_COUNT设置，或者错开平台高峰时段再跑。

更多问题解法，项目里整理了一份专门的答疑文档：docs/常见问题.md。想深入了解代码结构的，可以翻项目代码结构说明，从base/到media_platform/到proxy/，每个目录是干什么的写得明明白白。

下一步：从跑通到跑熟

回到开头的小陈。如果他早点遇到 MediaCrawler，那晚他该做的是：扫码登录，泡杯咖啡，等十分钟，数据自动出现在data/目录里。周五下班前交报告，毫无压力。

这就是工具的价值——把重复的、无趣的、容易出错的部分交给代码，把时间还给真正需要思考的事情。

现在轮到你了。动手做三件事：

1. 把项目 clone 下来，按文中的三步跑通第一个案例；
2. 跑通后，试着把关键词换成你自己关心的领域，把存储格式换成 CSV；
3. 有精力的话，打开代理开关，体验一次"规模化采集"。

技术只是工具，怎么用、用来做什么，选择权在你手上。

合规提醒：请务必遵守相关法律法规和各大平台的平台规则，将本工具仅用于合法的学习与研究目的。尊重数据隐私，不对平台造成过度负担，共同维护良好的网络环境。采集公开数据时，也要注意数据的使用边界，切勿用于商业牟利或侵犯他人权益。

【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new