V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wonderflow
V2EX  ›  开源软件

推荐个开源的中文日志采集工具 logkit

  •  
  •   wonderflow · 2018-12-13 14:25:08 +08:00 · 4014 次点击
    这是一个创建于 2154 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://github.com/qiniu/logkit

    优势

    • GO 语言编写,性能优良,资源消耗低,跨平台支持。
    • Web 支持,提供 页面 对数据收集、解析、发送过程可视化
    • 插件式架构,扩展性强,使用灵活,易于复用。
    • 定制化能力强,可以仅使用部分 logkit 包,以此定制专属收集工具。
    • 配置简单,易于上手,可通过 页面 进行操作管理。
    • 原生中文支持,没有汉化烦恼。
    • 功能全面,涵盖了包括 grok 解析、metric 收集、字段变化 (transform) 在内的多种开源软件特点。
    • 生态全面,数据发送到七牛的 Pandora 大数据平台支持包括时序数据库、日志检索以及压缩永久存储等多种数据落地方案。
    • 数据收集安全稳定,拥有磁盘队列、内存队列、错误重试、压缩传输、限速限流等多种机制,数据发送不重不漏。
    • 集群化,可以通过一个 logkit 作为 master 在 web 管理众多 logkit,对整体集群进行管理。

    支持的数据源

    • File: 读取文件中的日志数据,包括 csv 格式的文件,kafka-rest 日志文件,nginx 日志文件等,并支持以 grok 的方式解析日志。
    • Elasticsearch: 读取 ElasticSearch 中的数据。
    • MongoDB: 读取 MongoDB 中的数据。
    • MySQL: 读取 MySQL 中的数据。
    • MicroSoft SQL Server: 读取 Microsoft SQL Server 中的数据。
    • Postgre SQL: 读取 PostgreSQL 中的数据。
    • Kafka: 读取 Kafka 中的数据。
    • Redis: 读取 Redis 中的数据。
    • Socket: 读取 tcp\udp\unixsocket 协议中的数据。
    • Http: 作为 http 服务端,接受 POST 请求发送过来的数据。
    • Script: 支持执行脚本,并获得执行结果中的数据。
    • Snmp: 主动抓取 Snmp 服务中的数据。
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5530 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 08:28 · PVG 16:28 · LAX 00:28 · JFK 03:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.