环境搭建之Mac下安装SplunkEnterprise日志服务程序/SplunkForward通用转发器部署客户端
由于公司服务器产生日志量较大,而且以后会记录每个用户的操作行为日志,为了方面搜集及分析,所以要搭建一套日志服务系统,便于分析。前期调研了几个方案
如:阿里云的日志服务,提供了多种日志接入方案。如果公司日志量大的话,费用也不低
https://help.aliyun.com/document_detail/28981.html?spm=a2c4g.11186623.6.578.70ee8bdcJ7nDDK
如:E(Elasticsearch)L(Logstash)K (Kibana)
(ElasticSearch+LogStash+Kibana)ELK搭建在Mac/Linux系统上6.4.2版本
如:Hadoop生态
本地搭建过一套,但是对于日志的存储、和分析没有很熟的应用,不敢轻易尝试
如:SplunkEnterprise
之前公司运维有搭建过一套,应用起来还算方便,所以现在本地搭建一套试用后在确定是否启用
请看:环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)
搭建环境说明:
系统:MAC10.13.3 (17D47)【防火墙关闭状态】
软件:splunk-7.2.0-8c86330ac18-macosx-10.11-intel.dmg【服务端】
splunkforwarder-7.2.0-8c86330ac18-macosx-10.11-intel.dmg【通用转发器】
(连外网才可以下载)
一、服务端
安装比较简单不在赘述。安装成功之后可以打开web管理界面
地址为:localhost:8000
点击search & reporting 进入搜索页面,由于没有进行任何配置,所以无法搜索出结果,如下
点击右上角的设置-数据-数据输入进入数据配置页面。 再点击本地输入-文件&目录-新建本地文件目录,打开如下图
按照上面的提示一步一步进行操作即可,完成之后,进入搜索页面既可以查询出对应目录的日志信息【注意时间的选择】
以上的话,是最简单的配置和搜索了。本地测试和单机测试很容易就可以做到,但是如果需要监控多个服务器的日志应该怎么处理呢?Splunk也有处理方案,就是在客户端机器安装通用转发器,将多个服务器作为部署客户端发送的splunk部署服务器可以进行查询。
二、客户端
安装也比较简单,但是要注意端口的更改。【在安装时会有提示,8089已经被占用,请更改端口,因为我在单机测试,splunk服务端已经占用了8089端口,所以客户端设置为了8087】。更改之后在 splunkForward/bin目录下执行重启命令
./splunk restart 可以看到如下信息,端口已经更改成功
执行到了这一步,说明客户端已经安装成功了,但是怎么和splunk服务器进行通信呢?下面开始配置
三、Splunk服务端和客户端的通信
1、先确定Splunk服务端和客户端的端口
进入各自的安装bin目录输入:./splunk show splunkd-port 【按照提示输入账号密码】
2、配置通⽤转发器以将数据发送到Splunk Enterprise索引器
splunkForward/bin目录下
先输入: ./splunk add forward-server IP:HOST
再输入:./splunk list forward-server
可以看到已经配置了,却是闲置状态,这个重新启动下,就可以看到在Active中。因为还需要其他配置,那就处理完之后再重启
3. 配置通用转发器为部署客户端
splunkForward/bin目录下
输入:./splunk set deploy-poll 192.168.20.140:8089
配置已经生效了,注意端口是splunk部署服务器的端口,步骤1左边的
4.部署客户端增加监控目录并建立索引名称【建立索引是查询时可以快速定位的索引为XX的目标服务器】
plunkForward/bin目录下
输入:./splunk add monitor 目录 -index 索引名称
看到已经添加了
5.服务端建立索引【可以忽略该步骤可以和第4步的索引】
splunk/bin目录下
./splunk add index second
6.部署客户端的配置文件修改数据源信息
首先进入配置文件目录 /Application/SplunkForwarder/etc/system/local
看到deploymentclient.conf说明第3步的操作成功了。成功之后才会生成此文件
然后编辑inputs.conf, 增加监控目录,格式如下
[monitor:///users/xxx/xxx]
disabled=0
7. 重新启动客户端
./splunk restart
8. 打开splunk服务端的web管理界面 localhost:8000,
右上角依次打开设置 – 数据输入 – 转发的输入 – 文件&目录
和第一步一样,设置好后,可以进行搜索。
注:本机即安装服务端和客户端,因为host一样,无法区别查询,导致在查询的时候无法区分那个搜索文件是从客户端搜集到的。
我又在一台新电脑上配置了客户端。步骤和上面一样,就能正常的查询出不同服务器的日志文件了,如下图
搜索关键字可以查询两台服务器的日志了。
注2:摸索过程中,找了很多资料。splunk服务端和客户端通信 很多环境搭建的指南上缺少的是第3、4步骤。最后还是看的官方文档处理该问题。
以下是地址http://docs.splunk.com/Documentation/Forwarder/7.2.0/Forwarder/HowtoforwarddatatoSplunkEnterprise
祝大家最后成功搭建环境 splunk服务端和splunk客户端正常通信
最后建议还是搭建ELK环境,免费、开源、社区活跃度高。
原创文章,转载请标明本文链接: 环境搭建之Mac下安装SplunkEnterprise日志服务程序/SplunkForward通用转发器部署客户端