WebHubBot是基于Python和MongoDB的开源网络爬虫，主要是爬取全球著名网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接,  10个线程同时请求, 爬取PornHub视频的速度可以达到500万/天以上(速度具体视个人网络情况)。

特色:

  • 主要使用 scrapy 爬虫框架
  • 从Cookie池和UA池中随机抽取一个加入到Spider
  • start_requests 根据 PorbHub 的分类，启动了5个Request，同时对五个分类进行爬取。
  • 并支持分页爬取数据，并加入到待爬队列。

启动配置

  • 安装MongoDB,并启动，不需要配置
  • 安装Scrapy
  • 安装Python的依赖模块：pymongo、json、requests
  • 根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置

启动

  • python PornHub/quickstart.py

[repo owner=”xiyouMc” name=”WebHubBot”]