wLogger是一款集日志采集、日志解析持久化存储、Web 流量实时监控，三位一体的 Web 服务流量监控开源应用。遵守Apache2.0开源协议。三大功能模块均可独立部署启用互不干扰。内置 nginx 和 apache 的日志解析存储器，简单配置开箱即用。运行环境为python3+ linux平台。

特性：

  • 在日志采集的时候可以按照日志文件的大小，或者在指定时间内自动对日志进行切割日志，存储到指定的目录
  • 指定当前使用的 nginx/apache 日志格式名称 即可解析数据
  • 指定不同的项目走不同的队列服务，分别解析存储到不同的数据库，按需灵活配置
  • 支持分布式，日志采集服务队列已内置redis LIST结构，可自行拓展kafka ,mq等其它队列服务
  • 支持自定义持久化存储引擎，日志解析持久化存储服务已内置 mongodb 和 mysql ,可自行拓展其它数据库

功能说明：

采集器 inputer

* 实时日志采集,同时支持多个web日志同时采集 
* 可指定按照日志文件大小或指定时间,自动切割文件到指定目录, （日志切割不丢数据.）
* 可自定义队列服务软件,接受采集的日志信息. 
* 低cpu内存占用 

解析存储器 outputer

* 实时解析日志并存储到指定的数据库, 已内置 mysql 和 mongodb 如需使用elastic全家桶或其它存储引擎 可自行拓展
* 采集器,解析器,web服务均可 独立分布到不同的服务器节点上运行
* 目前已内置 nginx，apache 解析器, 可随意指定日志格式, 只需在配置文件里面指定格式名称即可正确解析并存储
* 支持按日期天,周,月,年. 自动分表或集合存储日志
* 支持指定工作进程来快速消费队列数据,大流量也能实时解析并存储日志, 虚拟机中ab 实测2W并发延迟小于1秒

web服务 web

* 内置大屏监控web面板 
* 同时支持 mysql 或者 mongodb 作为数据源

源码：

https://github.com/jyolo/wLogger