日志量大概一天 200 万的样子,以后可能会变大。
原因:
1.我传入的就是格式化好的 json 数据,看 Logstash 就是对输入的数据格式化输出到 es 里,所以我感觉这个 Logstash 对我没有什么用
2.主要就是担心性能了,那传入 kafka,然后输出到 es,是不是可以?
1
Cooky 2017-10-12 10:18:32 +08:00 via Android
es 可能抗不住,嫌弃 logstash 的话可以试试 rsyslog
|
2
Cooky 2017-10-12 10:21:06 +08:00 via Android
哦不对,平均时间的话应该抗得住,集中一块就费尽了
|
3
lfzyx 2017-10-12 10:27:55 +08:00
可以的,我就没用 logstash,而是自己用 python 写的
|
4
xiaoshengyige 2017-10-12 10:34:59 +08:00
kafka 靠谱。我们线上就这么用的。每天大概 400w+日志,供参考。
|
5
hyperdak288 2017-10-12 10:37:05 +08:00
Logstash 性能很差
你可以不用 filebeat 直接怼文件也行 |
7
zxc337 2017-10-12 10:44:36 +08:00
直接上 flume 吧
|
8
FiveDDD 2017-10-12 10:49:21 +08:00
推荐 flume 和 kafka, logstash 真是性能差
|
9
jybox 2017-10-12 12:46:37 +08:00
不需要处理日志的话直接用 filebeat 好了,都是一家的东西,资源占用是 logstash 的十分之一
|
10
WispZhan 2017-10-12 13:07:39 +08:00 via Android
有人对比 Graylog 么?
|
11
binjjam 2017-10-12 13:09:53 +08:00
我是自己用 python 写脚本导入的,每天 1500~2000W 记录 8~12G
|
12
Lax 2017-10-12 13:31:29 +08:00
输出 json 只是替代 logstash 的格式化功能,logstash 还有别的用途。
当然如果不在意数据完整性的话,没必要 logstash 以及 filebeat 或其它的 beat。 如果还想用 kafka 解决这些问题,何必舍近求远呢? |
13
yzmm 2017-10-12 13:37:31 +08:00
用官方的 java 的 API 就可以了
|
14
S1ahs3r 2017-10-12 13:41:46 +08:00
filebeat 挺好的,内存 60M 左右跑的起来
|
15
mentalidade OP @Cooky 时间不固定,中午 12 点左右和下午 5-8 点之间会比较频繁。因为有 java,node,NGINX 等很多产生的日志,在考虑是写入文件收集还是写入 kafka,然后输出到 es
@xiaoshengyige 直接写入 es,担心会阻塞住,这个可以 @lfzyx 因为很多方面很多种不同的日志要手机,全部直接写入到 es 不知道会不会导致阻塞严重? |
16
mentalidade OP @hyperdak288 Beats 可以 tcp 直接发送业务 log 吗,因为有的不写入到文件,按照固定格式写入
|
17
mengzhuo 2017-10-12 16:26:27 +08:00
可以~才 200w 每天
我们是 15w 每秒 kafka-es 3 台 es 抗住了 |
21
mentalidade OP @mengzhuo 厉害了
|
22
badttt 2017-10-12 18:19:43 +08:00
10W 每秒,自己写的 etl 工具采集
|
23
owenliang 2017-10-13 13:41:27 +08:00
需要批量写,单条写肯定是扛不住。
|