教程 ·

利用API实时爬取斗鱼弹幕

Python爬虫日记八:利用API实时爬取斗鱼弹幕

斗鱼

一:前言

这些天一直想做一个斗鱼爬取弹幕,但是socket搞的不清楚,而且这个斗鱼的api接口虽然开放了但是我在github上没有找到可以完美使用的代码。我看了好多文章,学了写然后总结一下。也为后面数据分析做准备,后面先对弹幕简单词云化,然后再对各个房间的数据可视化。

完整代码地址:github.com/rieuse/DouyuTV

这次爬取的房间是斗鱼直播的芜湖大司马,因为他人气比较多,方便分析。主播也是我老乡,嘿嘿。然后把弹幕的信息的uid,昵称,等级,弹幕内容保存mongodb。

先看看效果Python爬虫日记八:利用API实时爬取斗鱼弹幕
Python爬虫日记八:利用API实时爬取斗鱼弹幕

二:运行环境

  • IDE:Pycharm
  • Python3.6
  • pymongo 3.4.0

三:实例分析

首先要想爬取弹幕要看看官方的开发文档,我放在github里面了。

  • 第一点就是协议组成:

Python爬虫日记八:利用API实时爬取斗鱼弹幕

协议规定

Python爬虫日记八:利用API实时爬取斗鱼弹幕

协议实现代码

  • 第二点是登录请求,之后把这个传递给sendmsg即可发送请求:

Python爬虫日记八:利用API实时爬取斗鱼弹幕

登录

Python爬虫日记八:利用API实时爬取斗鱼弹幕

登录实现代码

  • 第三点是获取弹幕信息

Python爬虫日记八:利用API实时爬取斗鱼弹幕

弹幕协议

Python爬虫日记八:利用API实时爬取斗鱼弹幕

弹幕实现代码

  • 第四点是要保存登录状态,不然过一会儿可能就获取不到数据了。

Python爬虫日记八:利用API实时爬取斗鱼弹幕

保存登录代码

  • 补充说明

到这里这个API的主要功能已经了解了,剩下的就是具体实现,有以下几点:

  • 1.用户输入房间号,获取房间说明
  • 2.发送数据后,我们就会接受到斗鱼返回的数据,但是返回的数据是二进制所以我 们需要对数据转换编码。
  • 3.我这里爬取了斗鱼用户发送弹幕的信息有uid,昵称,等级,弹幕内容,这里的等级有的人是空的,如果不处理就会造成错误所以要使用下面处理一下。

Python爬虫日记八:利用API实时爬取斗鱼弹幕

四:实战代码

这些代码我全部放到github中了,你们想试试的可以去个github获取一下。头条不能使用markdown格式,所以代码发出来格式就乱了。

五:弹幕的后续使用

这里我们是将弹幕的几个信息,uid,用户昵称,等级,弹幕内容保存到mongodb,后续要对数据分析就可以直接拿出来,如果我们只需要弹幕那么就可以只把弹幕信息保存到txt文档中就行了。

贴出我的github地址,我的爬虫代码和学习的基础部分都放进去了,有喜欢的朋友一起学习交流吧!欢迎大家start follw, github.com/rieuse/DouyuTV

Python爬虫日记八:利用API实时爬取斗鱼弹幕

参与评论