关于日志收集，有比较好的工具推荐吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2326 天前的主题，其中的信息可能已经有所发展或是发生改变。

项目模型比较简单，主要是使用 flask，使用 supervisor 托管
所以日志是 supervisor 的日志和 celery 的日志。
同时服务器分测试服务器和正式服务器
有没有一个工具能把多台电脑上的多个文件的日志集中收集到一个地方？
以及对于日志这块，各位的最佳实践都是什么？欢迎分享

日志

Supervisor

服务器

flask

17 条回复 • 2018-07-12 20:47:49 +08:00

zhengxiaowai

2018-07-11 16:29:22 +08:00

sentry ？

lululau

2018-07-11 16:31:37 +08:00

ELK 啊，如果没有分析的需求，简单一点可以只用 FileBeat 来做汇集

FiveDDD

2018-07-11 16:39:23 +08:00

腾讯云有日志服务，目前免费(内测阶段，勉强够用)，也可以考虑国外的 loggly （很成熟）之类的。

strict

2018-07-11 17:07:59 +08:00

@zhengxiaowai 这个工具目前来看还不错，ELK 相比就有点太大了。

strict

2018-07-11 17:08:45 +08:00

@FiveDDD 腾讯云你们正式业务有在用吗？

tingyunsay

2018-07-11 17:12:17 +08:00

瞎几把说，日志切好，写通用脚本 hadoop put ..，hdfs 存储（分 ip ）

lbp0200

2018-07-11 17:15:53 +08:00

老乡，rsyslog，了解一下，系统自带

cirton

2018-07-11 17:17:41 +08:00

flume ?

glacer

2018-07-11 17:22:44 +08:00

只是日志收集的话，那就是 logstash 啊

welkinzh

2018-07-11 17:24:24 +08:00

目前在用 filebeat + elasticsearch

eastrd

2018-07-11 17:33:42 +08:00 via Android

Splunk 全家桶

jinwyp

2018-07-11 17:41:28 +08:00

看了回答, 混乱了. 原来日志没有最佳实践.

ideascf

2018-07-11 17:48:07 +08:00

@zhengxiaowai sentry 不适合用来做日志收集，而是用来做异常（日志）收集。

SevenJ

2018-07-11 18:13:22 +08:00

没有特别需求，只是 tail 日志文件的话 rsyslog 足矣
BTW, rsyslog 可以直接打日志到 kafka

jemygraw

2018-07-11 18:14:05 +08:00

用七牛的 logkit，直接打到云端。https://github.com/qiniu/logkit

p23XnFNH1Wq953rV

2018-07-12 09:37:30 +08:00

graylog

shenxgan

2018-07-12 20:47:49 +08:00

推荐一下 flume，架构简单，实用