个人专属搜索引擎与爬虫-Apollo
Apollo是一款开源的个人搜索引擎与 Web 爬虫,在收录网站 url 后,程序会自动抓取网站文字内容、视频字幕并存储。之后用户便可通过Apollo搜索,快速查看爬取内容或访问网站源页面。Apollo基于Go语言编写,遵守MIT开源协议。
Apollo理念是将用户的数字脚印存储起来,用户自己选择收录哪些内容,从而打造自己的知识库。客户端基于 Poseidon编写,通过类REST API与服务器端交互, 自带爬虫可以收集博客,youtube视频的文字等。
视频演示:https://www.ixigua.com/7104870780478947843
https://github.com/amirgamil/apollo
发表回复