B站评论数据怎么搞？我踩过的坑都在这儿了

玩B站这么久，你有没有盯着评论区想过：这里面藏着多少真实用户想法？作为经常需要分析用户反馈的人，我摸索出了一套采集评论的方法，今天掏心窝子分享一下。

先说难点

第一，评论是懒加载的。 你打开视频页面，评论不是一次性全出来的，得往下滚才会继续加载。这意味着想爬全部评论，就得模拟真人 scrolling 的行为。

第二，楼中楼太复杂。 一条热评下面可能有几十条回复，形成树状结构。很多现成工具只能抓到第一层，深层回复就丢了。

第三，封IP是真疼。 我刚开始不懂事，一分钟发了几十个请求，直接被临时ban了。后来学乖了，控制在每分钟20次以内，还加了随机延迟。

第四，有些评论要登录才能看。 这就意味着你得处理cookie和登录态，流程一下复杂了不少。

几种路子对比

1. 直接调API（最快但有限制）

B站有个公开接口：https://api.bilibili.com/x/v2/reply/main

核心参数就几个：

• oid：视频ID
• type：固定填1
• mode：排序方式（时间或热度）
• next：分页游标

好处是速度快、返回JSON格式规整。坏处是QPS有限制，而且二级评论拿不全。

2. 浏览器自动化（最稳但最慢）

用Selenium或者Playwright开个真实浏览器，模拟人去滚动、点击"查看全部回复"。这样能拿到完整的评论树，包括点赞数、用户信息这些。

缺点是慢，而且吃资源。我一般只在需要精细数据时用这招。

3. 现成工具（适合懒得折腾的）

GitHub上有些开源项目比如BilibiliCommentScraper，已经把上面两种方法封装好了，带断点续采、智能解析。非技术背景的朋友直接用这个就行。

也可以直接使用极致了数据采集工具，可视化界面使用起来更方便，而且还支持并发数据采集。

反爬怎么破？

随机延迟是必须的。 我用random.uniform(3, 5)在3-5秒之间随机等待，避免固定间隔被识别成机器人。

分块请求+暂停。 每抓8-15页就停15-30秒，假装自己在认真读评论。这个策略让我连续跑了几小时都没被封。

双排序合并。 B站单种排序方式大概只能翻到5000条评论。我的做法是：先按时间抓一遍，再按热度抓一遍，两边合并去重，基本能接近上限。

存什么字段？

我一般会保留这些：

• 评论ID、用户ID
• 评论内容、发布时间
• 点赞数、回复数
• 层级关系（父评论是谁）
• 用户头像URL、粉丝数（如果能拿到）

用pandas存成CSV，记得加encoding='utf-8-sig'，不然中文会乱码。

最后唠叨几句

• 别高频轰炸，服务器扛不住
• 用户信息脱敏处理，隐私要保护
• 数据拿来做研究可以，别拿去商用
• robots.txt该看还是得看

评论数据这东西，用好了真能挖出不少洞察。无论是调整创作方向还是做市场分析，都比拍脑袋强多了。

有啥问题欢迎交流，我也还在持续优化这套方案。