一、为什么写这篇文章做新媒体运营、舆情分析、学术研究的朋友经常遇到一个共同痛点微博的数据拿不到。手动复制粘贴效率低到怀疑人生网上找的开源脚本大多命令行操作、对小白不友好还经常失效第三方付费平台贵而且数据不全、不可控我前阵子做新媒体选题分析需要批量拉某个话题下近一个月的微博正文 评论折腾了一圈没找到趁手的工具干脆自己写了一个GUI 可视化的微博综合采集工具。这篇文章就把采集思路、技术实现、踩过的坑分享出来顺便把工具介绍给有同样需求的朋友。二、工具能做什么4 大采集场景先看能力全景再讲实现获取链接https://pay.ldxp.cn/item/pbj7aa场景输入输出典型用途① 关键词搜索关键词 天数微博正文、转发/评论/点赞数话题热度分析、选题挖掘② 评论采集微博ID单个/批量评论内容、用户信息、性别、粉丝数评论情感分析、用户画像③ 博主博文博主UID该博主全部博文 转发关系KOL 内容研究、爆款复盘④ 联动采集一个关键词先搜索 → 再自动批量采评论一键搞定话题评论组合数据下面挨个拆。三、场景①关键词搜索采集思路关键词搜索的本质是访问https://s.weibo.com/weibo?q关键词这是微博 PC 端的搜索结果页返回的是 HTML。但是有个关键限制单个关键词最多翻 50 页就到底了。怎么办日期切片绕过翻页限制把过去 30 天拆成 30 个单天请求每天单独翻页。这样原本 50 页 × 1 天 50 页变成 50 页 × 30 天 1500 页量级直接拉满。forday_offsetinrange(0,current_day_number):# 外层日期循环target_datedatetime.date.today()-timedelta(daysday_offset)timescopefcustom:{target_date}:{target_date}# 单天的时间范围forpage_numinrange(1,max_pages1):# 内层页码循环params{q:keyword,timescope:timescope,page:page_num}page.get(url,headersheaders,cookiescookies,paramsparams)# ... 解析每页的 card-wrap 元素数据字段每条微博能抓到mid、昵称、发布时间、来源设备、正文、转发数、评论数、点赞数。四、场景②评论采集含二级评论思路评论走的是 ajax 接口https://weibo.com/ajax/statuses/buildComments返回 JSON。这里有个新手必踩的坑翻页不是用页码而是用max_id游标。第一次请求拿到一批评论 一个max_id下一次带着这个max_id才能拿下一页。直到返回的max_id为空或单页数据不足 20 条说明到底了。whileitemsandself.is_running:# 解析本页评论...iflen(items)20ornotmax_id:break# 到底了params[max_id]max_id# 用上一次的游标翻页page.get(url,paramsparams,...)datapage.json itemsdata[data]max_iddata[max_id]# 更新游标二级评论处理每条一级评论的 JSON 里嵌套了comments字段就是二级评论 / 楼中楼递归解析即可不用再发请求。数据字段评论能抓到的字段相当丰富时间、楼层、内容、用户昵称/ID/位置/描述/性别/关注数/粉丝数/微博数/点赞数。五、场景③博主博文采集思路接口是https://weibo.com/ajax/statuses/mymblog翻页用since_id和评论的max_id逻辑类似。这里有个坑必须避早期版本我图省事用了递归翻页结果发现会重复采集 递归过深栈溢出。后来改成纯迭代whileself.is_runningandpage_nummax_pages:page.get(url,params{uid:uid,page:page_num,since_id:since_id})datapage.json itemsdata[data][list]since_iddata[data][since_id]# 解析每条博文...ifnotsince_idor连续空页:break# 到底了page_num1转发关系保留博主的转发微博能同时拿到原微博的内容、链接、ID方便后续做传播链分析。六、场景④联动采集一键搞定这个场景是给懒人准备的输入一个关键词工具自动跑完三步阶段1关键词搜索 → 存搜索结果 Excel ↓ 阶段2从 Excel 读取 mid 列 ↓ 阶段3批量采这些微博的评论 → 存评论 Excel中间不需要任何手动操作特别适合做话题 评论组合分析。七、反爬应对重要爬虫写出来不算完能稳定跑下去才是关键。我用了三层策略1. 会话复用用DrissionPage的SessionPage所有请求复用同一个会话保持 Cookie 一致性。2. 随机延时关键单帖内翻页要等帖与帖切换也要等。很多人只做了前者结果切接口时被风控# 帖与帖之间也要等待切换不同接口比同帖翻页更易触发风控ifitotal:time.sleep(random.uniform(min_sleep,max_sleep))3. 完整请求头伪装User-Agent、sec-ch-ua、referer 全部按真实浏览器格式构造ajax 接口还要带上x-xsrf-token。八、界面长这样工具是 GUI 可视化的不用敲命令行操作流程启动 → 配置 Cookie两种方式 ├─ 方式1从浏览器复制粘贴自动识别字符串/JSON 格式 └─ 方式2工具自动打开浏览器登录后一键抓取 ↓ 选采集场景 → 填参数关键词/ID/天数/页数/延时 ↓ 点开始 → 实时看进度条、统计数字、运行日志 ↓ 完成后打开 Excel 即可界面截图左侧导航 右侧分组卡片式表单 实时日志此处可插入运行截图九、Cookie 怎么拿这是新手最常问的问题单独说一下。两种方式方式 A手动复制推荐浏览器登录 weibo.comF12 打开开发者工具 → Network → 刷新页面 → 随便点一个请求Headers 里找Cookie:字段整段复制粘贴到工具里点校验方式 B工具自动抓取工具内置了浏览器自动化登录点一下按钮自动打开微博登录页你扫码登录后点登录完成工具自动抓取 Cookie 并关闭浏览器。十、技术栈DrissionPageHTTP 请求 浏览器自动化SessionPage 稳定好用DataRecorderExcel 落表支持边采边写BeautifulSoup评论 HTML 文本清洗loguru日志记录支持按天轮转tkinterGUI 界面轻量无额外依赖PyInstaller打包成单文件 exe用户无需装 Python最终交付一个35MB 的 exe双击就能跑零环境配置。十一、合规与免责声明 ⚠️工具本身是技术学习产物请合规使用仅采集微博公开可见数据不涉及隐私采集到的数据请用于个人学习、学术研究、市场分析等合法用途不得用于商业转售、恶意刷量、人身攻击等违规场景采集频率已内置延时控制但仍请尊重平台规则不要高频滥用使用本工具产生的一切后果由使用者自行承担十二、工具获取工具已打包为 exeWindows 直接双击运行✅ 4 大采集场景全覆盖✅ GUI 可视化零命令行✅ 双 Cookie 配置方式✅ 实时进度 日志✅ 防风控策略内置✅ 无需安装 Python 环境新用户有24 小时免费试用跑通流程后再决定是否继续。获取链接https://pay.ldxp.cn/item/pbj7aa写在最后这篇文章主要是技术思路分享把采集过程中踩过的坑翻页限制、max_id 游标、递归 bug、帖间风控都写出来了希望能帮到做相关需求的朋友。如果你也在做新媒体、舆情、学术研究需要批量拿微博数据这个工具能帮你省掉大量重复劳动。有问题欢迎评论区交流我看到都会回。如果觉得有用点个赞 收藏一下谢谢观看。