环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)

作者: admin 分类: ELK 发布时间: 2018-11-09 23:29  阅读: 1,089 views

 随着公司日益增长的业务,日志增长较快,各种bug层出不穷。为了快速定位问题以及做告警/数据分析等问题,就针对性的查看/搭建了几种日志服务系统。

可能整理的不是那么正确或者详尽。但也记录一下,方便日后回顾时补充或者参考。

对于整个日志服务的规划大概如下:

 

不同日志服务框架对比

      

阿里系

其他

 

编号

 

(一)Logtail

(二)Appender

(三)ELK

(四)Hadoop

(五)Splunk

费用

1

费用

按量收费

按量收费

开源

开源

商业版

日志接入方式

2

服务端

安装logtail服务端,配置采集源

logstash

Splunk服务端

3

客户端

安装logtail客户端

替换log4j并配置

logstash-forwarder

Splunk客户端

4

搭建难度

按照教程配置

简单

开源相关软件全部安装

开源相关软件全部安装

官网下载后破解

5

分布式支持

支持

支持

支持

支持

数据范围

6

数据范围

增量数据

增量数据

全量数据

全量数据

全量数据

数据采集

7

方式

目标机器 -> 服务端               服务端    -> 阿里云

目标机器  ->  阿里云

目标机器 -> 服务端             (logstash  -> ElasticSearch)

目标机器 -> 服务端

目标机器 -> 服务端              (forward -> server)

8

传输格式

极简/分隔符/JSON格式

原内容

过滤后/JSON格式

可过滤

过滤后的索引文件

9

监控

logtail有控制台

logstash可监控

flume

Splunk forward

10

可靠性(数据丢失率)

11

数据迁移/硬盘增加[指日志数据]

监控增加目录配置

     

数据查询

12

查看[图形化界面]

阿里后台

阿里后台

kibana

分析结果入库查询?

服务端web控制台

13

权限

阿里账号

阿里账号

权限可分配

权限可分配

14

语法

大同小异

数据处理

15

扩展

局限于阿里云系列产品

插件

插件

16

图形化支持

17

支持导出

导出阿里云存储类系列产品

kibana导出cvs/excel

?

excel/其他

性能影响

18

日志搜集这一块

参考测评:https://blog.csdn.net/qq_27252133/article/details/54019965

 

试用下来,

1.阿里的Appender配置最为简单,只要替换相关jar包,并做log4j的配置即可,且不占用自己磁盘空间,直接上传服务器。但是收费!

2.商业版的Splunk也是一套比较完善且实用的工具,界面友好,操作简单,基本满足所有的需求。需要破解!

3.ELK是开源的,官网提供的安装包基本是一键安装式的,配置简单。一些奇怪问题可能网上资料少,需要研究!

4.阿里的logtail,整体的配置感觉要比ELK复杂稍许,功能强大,较局限于阿里系产品的转换(如数据导出)。但是收费!

5.Hadoop作为数据分析的大哥,过于重量级,且不是那么的熟悉,果断放弃。

6. 其他同类产品可能差不多,就不多做阐述了

 

最终通过一系列的考察\分析,最终选择了ELK作为公司的日志服务框架。

环境搭建之Mac下安装SplunkEnterprise日志服务程序/SplunkForward通用转发器部署客户端

环境搭建之ELK(ElasticSearch+LogStash+Kibana)Mac/Linux系统上搭建6.4.2

其他待补充


   原创文章,转载请标明本文链接: 环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

发表评论

电子邮件地址不会被公开。 必填项已用*标注

更多阅读