https://github.com/qiniu/logkit
优势
- GO 语言编写,性能优良,资源消耗低,跨平台支持。
- Web 支持,提供 页面 对数据收集、解析、发送过程可视化
- 插件式架构,扩展性强,使用灵活,易于复用。
- 定制化能力强,可以仅使用部分 logkit 包,以此定制专属收集工具。
- 配置简单,易于上手,可通过 页面 进行操作管理。
- 原生中文支持,没有汉化烦恼。
- 功能全面,涵盖了包括 grok 解析、metric 收集、字段变化 (transform) 在内的多种开源软件特点。
- 生态全面,数据发送到七牛的 Pandora 大数据平台支持包括时序数据库、日志检索以及压缩永久存储等多种数据落地方案。
- 数据收集安全稳定,拥有磁盘队列、内存队列、错误重试、压缩传输、限速限流等多种机制,数据发送不重不漏。
- 集群化,可以通过一个 logkit 作为 master 在 web 管理众多 logkit,对整体集群进行管理。
支持的数据源
- File: 读取文件中的日志数据,包括 csv 格式的文件,kafka-rest 日志文件,nginx 日志文件等,并支持以 grok 的方式解析日志。
- Elasticsearch: 读取 ElasticSearch 中的数据。
- MongoDB: 读取 MongoDB 中的数据。
- MySQL: 读取 MySQL 中的数据。
- MicroSoft SQL Server: 读取 Microsoft SQL Server 中的数据。
- Postgre SQL: 读取 PostgreSQL 中的数据。
- Kafka: 读取 Kafka 中的数据。
- Redis: 读取 Redis 中的数据。
- Socket: 读取 tcp\udp\unixsocket 协议中的数据。
- Http: 作为 http 服务端,接受 POST 请求发送过来的数据。
- Script: 支持执行脚本,并获得执行结果中的数据。
- Snmp: 主动抓取 Snmp 服务中的数据。