WebHubBot是基于Python和MongoDB的开源网络爬虫,主要是爬取全球著名网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接,  10个线程同时请求, 爬取PornHub视频的速度可以达到500万/天以上(速度具体视个人网络情况)。

特色:

  • 主要使用 scrapy 爬虫框架
  • 从Cookie池和UA池中随机抽取一个加入到Spider
  • start_requests 根据 PorbHub 的分类,启动了5个Request,同时对五个分类进行爬取。
  • 并支持分页爬取数据,并加入到待爬队列。

启动配置

  • 安装MongoDB,并启动,不需要配置
  • 安装Scrapy
  • 安装Python的依赖模块:pymongo、json、requests
  • 根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置

启动

  • python PornHub/quickstart.py
GitHub 仓库挂件 WordPress 插件

xiyouMc / WebHubBot

Python + Scrapy + MongoDB . 5 million data per day !!!💥 The world's largest website.

 

下载信息

点击下载