环境搭建之Mac下安装SplunkEnterprise日志服务程序/SplunkForward通用转发器部署客户端

由于公司服务器产生日志量较大，而且以后会记录每个用户的操作行为日志，为了方面搜集及分析，所以要搭建一套日志服务系统，便于分析。前期调研了几个方案

如：阿里云的日志服务，提供了多种日志接入方案。如果公司日志量大的话，费用也不低

https://help.aliyun.com/document_detail/28981.html?spm=a2c4g.11186623.6.578.70ee8bdcJ7nDDK

如：E(Elasticsearch)L(Logstash)K (Kibana)

(ElasticSearch+LogStash+Kibana)ELK搭建在Mac/Linux系统上6.4.2版本

如：Hadoop生态

本地搭建过一套,但是对于日志的存储、和分析没有很熟的应用，不敢轻易尝试

如：SplunkEnterprise

之前公司运维有搭建过一套,应用起来还算方便，所以现在本地搭建一套试用后在确定是否启用

请看：环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)

 

搭建环境说明：

系统：MAC10.13.3 (17D47)【防火墙关闭状态】

软件：splunk-7.2.0-8c86330ac18-macosx-10.11-intel.dmg【服务端】

splunkforwarder-7.2.0-8c86330ac18-macosx-10.11-intel.dmg【通用转发器】

(连外网才可以下载)

 

 

一、服务端

安装比较简单不在赘述。安装成功之后可以打开web管理界面

地址为：localhost:8000

点击search & reporting 进入搜索页面，由于没有进行任何配置，所以无法搜索出结果，如下

点击右上角的设置-数据-数据输入进入数据配置页面。 再点击本地输入-文件&目录-新建本地文件目录，打开如下图

 

按照上面的提示一步一步进行操作即可，完成之后，进入搜索页面既可以查询出对应目录的日志信息【注意时间的选择】

---

以上的话，是最简单的配置和搜索了。本地测试和单机测试很容易就可以做到，但是如果需要监控多个服务器的日志应该怎么处理呢？Splunk也有处理方案，就是在客户端机器安装通用转发器，将多个服务器作为部署客户端发送的splunk部署服务器可以进行查询。

 

二、客户端

安装也比较简单，但是要注意端口的更改。【在安装时会有提示，8089已经被占用，请更改端口，因为我在单机测试，splunk服务端已经占用了8089端口，所以客户端设置为了8087】。更改之后在 splunkForward/bin目录下执行重启命令

./splunk restart 可以看到如下信息，端口已经更改成功

---

执行到了这一步，说明客户端已经安装成功了，但是怎么和splunk服务器进行通信呢？下面开始配置

 

三、Splunk服务端和客户端的通信

1、先确定Splunk服务端和客户端的端口

进入各自的安装bin目录输入：./splunk show splunkd-port 【按照提示输入账号密码】

2、配置通⽤转发器以将数据发送到Splunk Enterprise索引器

splunkForward/bin目录下

先输入： ./splunk add forward-server IP:HOST

再输入：./splunk list forward-server

可以看到已经配置了，却是闲置状态，这个重新启动下，就可以看到在Active中。因为还需要其他配置，那就处理完之后再重启

3. 配置通用转发器为部署客户端

splunkForward/bin目录下

输入：./splunk set deploy-poll 192.168.20.140:8089

配置已经生效了，注意端口是splunk部署服务器的端口，步骤1左边的

4.部署客户端增加监控目录并建立索引名称【建立索引是查询时可以快速定位的索引为XX的目标服务器】

plunkForward/bin目录下

输入：./splunk add monitor 目录 -index 索引名称

看到已经添加了

5.服务端建立索引【可以忽略该步骤可以和第4步的索引】

splunk/bin目录下

./splunk add index second

6.部署客户端的配置文件修改数据源信息

首先进入配置文件目录 /Application/SplunkForwarder/etc/system/local

看到deploymentclient.conf说明第3步的操作成功了。成功之后才会生成此文件

然后编辑inputs.conf， 增加监控目录,格式如下

[monitor:///users/xxx/xxx]

disabled=0

7. 重新启动客户端

./splunk restart

8. 打开splunk服务端的web管理界面 localhost:8000，

右上角依次打开设置 – 数据输入 – 转发的输入 – 文件&目录

和第一步一样，设置好后，可以进行搜索。

 

注：本机即安装服务端和客户端，因为host一样，无法区别查询，导致在查询的时候无法区分那个搜索文件是从客户端搜集到的。

我又在一台新电脑上配置了客户端。步骤和上面一样，就能正常的查询出不同服务器的日志文件了，如下图

 

搜索关键字可以查询两台服务器的日志了。

 

 

注2：摸索过程中，找了很多资料。splunk服务端和客户端通信 很多环境搭建的指南上缺少的是第3、4步骤。最后还是看的官方文档处理该问题。

以下是地址http://docs.splunk.com/Documentation/Forwarder/7.2.0/Forwarder/HowtoforwarddatatoSplunkEnterprise

 

祝大家最后成功搭建环境 splunk服务端和splunk客户端正常通信

 

最后建议还是搭建ELK环境，免费、开源、社区活跃度高。

(ElasticSearch+LogStash+Kibana)ELK搭建在Mac/Linux系统上6.4.2版本