环境搭建之Mac下安装SplunkEnterprise日志服务程序/SplunkForward通用转发器部署客户端

作者: admin 分类: Splunk 发布时间: 2018-11-09 23:06  阅读: 380 views

由于公司服务器产生日志量较大,而且以后会记录每个用户的操作行为日志,为了方面搜集及分析,所以要搭建一套日志服务系统,便于分析。前期调研了几个方案

如:阿里云的日志服务,提供了多种日志接入方案。如果公司日志量大的话,费用也不低

https://help.aliyun.com/document_detail/28981.html?spm=a2c4g.11186623.6.578.70ee8bdcJ7nDDK

如:E(Elasticsearch)L(Logstash)K (Kibana)

(ElasticSearch+LogStash+Kibana)ELK搭建在Mac/Linux系统上6.4.2版本

如:Hadoop生态

本地搭建过一套,但是对于日志的存储、和分析没有很熟的应用,不敢轻易尝试

如:SplunkEnterprise

之前公司运维有搭建过一套,应用起来还算方便,所以现在本地搭建一套试用后在确定是否启用

请看:环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)

 

搭建环境说明:

系统:MAC10.13.3 (17D47)【防火墙关闭状态】

软件:splunk-7.2.0-8c86330ac18-macosx-10.11-intel.dmg【服务端】

splunkforwarder-7.2.0-8c86330ac18-macosx-10.11-intel.dmg【通用转发器】

(连外网才可以下载)

 

 

一、服务端

安装比较简单不在赘述。安装成功之后可以打开web管理界面

地址为:localhost:8000

点击search & reporting 进入搜索页面,由于没有进行任何配置,所以无法搜索出结果,如下

点击右上角的设置-数据-数据输入进入数据配置页面。 再点击本地输入-文件&目录-新建本地文件目录,打开如下图

 

按照上面的提示一步一步进行操作即可,完成之后,进入搜索页面既可以查询出对应目录的日志信息【注意时间的选择】


以上的话,是最简单的配置和搜索了。本地测试和单机测试很容易就可以做到,但是如果需要监控多个服务器的日志应该怎么处理呢?Splunk也有处理方案,就是在客户端机器安装通用转发器,将多个服务器作为部署客户端发送的splunk部署服务器可以进行查询。

 

二、客户端

安装也比较简单,但是要注意端口的更改。【在安装时会有提示,8089已经被占用,请更改端口,因为我在单机测试,splunk服务端已经占用了8089端口,所以客户端设置为了8087】。更改之后在 splunkForward/bin目录下执行重启命令

./splunk restart 可以看到如下信息,端口已经更改成功


执行到了这一步,说明客户端已经安装成功了,但是怎么和splunk服务器进行通信呢?下面开始配置

 

三、Splunk服务端和客户端的通信

1、先确定Splunk服务端和客户端的端口

进入各自的安装bin目录输入:./splunk show splunkd-port 【按照提示输入账号密码】

2、配置通⽤转发器以将数据发送到Splunk Enterprise索引器

splunkForward/bin目录下

先输入: ./splunk add forward-server IP:HOST

再输入:./splunk list forward-server

可以看到已经配置了,却是闲置状态,这个重新启动下,就可以看到在Active中。因为还需要其他配置,那就处理完之后再重启

3. 配置通用转发器为部署客户端

splunkForward/bin目录下

输入:./splunk set deploy-poll 192.168.20.140:8089

配置已经生效了,注意端口是splunk部署服务器的端口,步骤1左边的

4.部署客户端增加监控目录并建立索引名称【建立索引是查询时可以快速定位的索引为XX的目标服务器】

plunkForward/bin目录下

输入:./splunk add monitor 目录 -index 索引名称

看到已经添加了

5.服务端建立索引【可以忽略该步骤可以和第4步的索引】

splunk/bin目录下

./splunk add index second

6.部署客户端的配置文件修改数据源信息

首先进入配置文件目录 /Application/SplunkForwarder/etc/system/local

看到deploymentclient.conf说明第3步的操作成功了。成功之后才会生成此文件

然后编辑inputs.conf, 增加监控目录,格式如下

[monitor:///users/xxx/xxx]

disabled=0

7. 重新启动客户端

./splunk restart

8. 打开splunk服务端的web管理界面 localhost:8000,

右上角依次打开设置 – 数据输入 – 转发的输入 – 文件&目录

和第一步一样,设置好后,可以进行搜索。

 

注:本机即安装服务端和客户端,因为host一样,无法区别查询,导致在查询的时候无法区分那个搜索文件是从客户端搜集到的。

我又在一台新电脑上配置了客户端。步骤和上面一样,就能正常的查询出不同服务器的日志文件了,如下图

 

搜索关键字可以查询两台服务器的日志了。

 

 

注2:摸索过程中,找了很多资料。splunk服务端和客户端通信 很多环境搭建的指南上缺少的是第3、4步骤。最后还是看的官方文档处理该问题。

以下是地址http://docs.splunk.com/Documentation/Forwarder/7.2.0/Forwarder/HowtoforwarddatatoSplunkEnterprise

 

祝大家最后成功搭建环境 splunk服务端和splunk客户端正常通信

 

最后建议还是搭建ELK环境,免费、开源、社区活跃度高。

(ElasticSearch+LogStash+Kibana)ELK搭建在Mac/Linux系统上6.4.2版本


   原创文章,转载请标明本文链接: 环境搭建之Mac下安装SplunkEnterprise日志服务程序/SplunkForward通用转发器部署客户端

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

发表评论

电子邮件地址不会被公开。 必填项已用*标注