elk日志分析系统搭建步骤及配置实战(详细版)

1.   整体方案图

elk日志分析系统搭建步骤及配置实战(详细版)

2.   搭建步骤

(一).filebeat搭建步骤

       (1). 官网下载filebeat 7.6.1版本tar包.

       官网下载地址:https://www.elastic.co/cn/downloads

 elk日志分析系统搭建步骤及配置实战(详细版)

图1.1 进入官网下载地址,点击beats的下载按钮。

 elk日志分析系统搭建步骤及配置实战(详细版)

图1.2 点击filebeat的download。

 elk日志分析系统搭建步骤及配置实战(详细版)

图1.3 选择适合的版本下载,我这里选择64位linux的版本。

(2.)在目标服务器创建elk文件夹,将filebeat的tar包文件通过ftp工具复制进去并解压。(目标服务器就是需要采集的日志所在的服务器,filebeat可以在不同服务器搭建多个进行采集)

 elk日志分析系统搭建步骤及配置实战(详细版)

 elk日志分析系统搭建步骤及配置实战(详细版)

(3.)进入filebeat文件夹,修改filebeat.yml配置文件。

 elk日志分析系统搭建步骤及配置实战(详细版)

配置如下:

filebeat.inputs:

- type: log

  enabled: true                                              #true为启用,默认为true

  paths:

- /home/nmc/backend/*/log/*.log      #填入要采集的日志文件地址,*为匹配符。

output.logstash:

  hosts: ["localhost:5044"]         #输出的logstash的地址,此处代表输出到本地的logstash

 

(二).logstash搭建步骤

(1). 官网下载logstash 7.6.1版本tar包.

       官网下载地址:https://www.elastic.co/cn/downloads

 elk日志分析系统搭建步骤及配置实战(详细版)

图2.1 选择logstash下载,下载步骤参照filebeat的下载。

(2.)将logstash的tar包文件通过ftp工具复制进去elk文件夹并解压。

(3.)进入logstash的config文件夹,修改配置文件logstash-sample.conf。

配置文件如下:

input {

  beats {                                   #意思是用beats输入到logstash

    port => 5044

  }

}

 

output {

   elasticsearch {                       #输出到elasticsearch

     hosts => ["http://localhost:9200"]

   }

}

(4.)logstash有很多的过滤器插件,可以根据需要在配置文件中配置使用。

(三). elasticsearch搭建步骤

(1). 官网下载elasticsearch 7.6.1版本tar包.

       官网下载地址:https://www.elastic.co/cn/downloads

 elk日志分析系统搭建步骤及配置实战(详细版)

图3.1 选择elasticsearch的下载,下载步骤参照filebeat的下载。

(2.)将elasticsearch的tar包文件通过ftp工具复制进去elk文件夹并解压。

(3.)无需修改配置文件。

(4.)如果当前服务器jdk版本不满足,可以使用elasticsearch自带的jdk12,方法如下:

       进入elasticsearch的bin目录,修改elasticsearch文件,在开头添加上这一行:export JAVA_HOME={此处为你的elasticsearch路径}/jdk/,并相应的修改垃圾内存回收机制,进入elasticsearch的config目录,修改jvm.options文件,将 : -XX:+UseConcMarkSweepGC

改为:-XX:+UseG1GC。

(四). kibana搭建步骤

(1). 官网下载kibana 7.6.1版本tar包.

       官网下载地址:https://www.elastic.co/cn/downloads

 elk日志分析系统搭建步骤及配置实战(详细版)

图4.1 选择kibana的下载,下载步骤参照filebeat的下载。

 

(2.)将kibana的tar包文件通过ftp工具复制进去elk文件夹并解压。

(3.)进入kibana的config文件夹,修改配置文件kibana.yml。

配置文件如下:

server.host: 0.0.0.0

elasticsearch.hosts: ["http://127.0.0.1:9200"]

i18n.locale: "zh-CN"

2.   启动步骤

启动按elasticsearch ->kibana -> logstash-> filebeat顺序启动

(1). elasticsearch启动

在elasticsearch的bin目录下,执行:nohup ./elasticsearch > elasticsearch.log 2>&1 &

,默认端口号为9200

(2). kibana启动

在kibana的bin目录下,执行:nohup ./kibana > kibana.log 2>&1 &

,默认端口号为5601

(3). logstash启动

在logstash的bin目录下,执行:nohup ./logstash -f ../config/logstash-sample.conf > logstash.log 2>&1 &

,默认端口号为9600

 (4). Filebeat启动

在filebeat的bin目录下,执行:nohup ./filebeat -e -c filebeat.yml -d "publish" > filebeat.log 2>&1 &

(注:第一次启动,关闭shell窗口时先使用exit退出,再进行关闭窗口操作)

4.  kibana页面进入及设置

(1). 界面地址

地址:{此处为kibana所在的服务器ip地址}:5601,如10.1.8.116:5601.

(2). 添加索引

 elk日志分析系统搭建步骤及配置实战(详细版)

根据页面提示,添加索引进行查看日志。

 elk日志分析系统搭建步骤及配置实战(详细版)