filebeat+redis+logstash+elasticsearch+kibana搭建日志分析系统 filebeat+redis+elk搭建日志分析系统

 1 - type: log
 2 
 3   # Change to true to enable this input configuration.
 4   enabled: true
 5 
 6   paths:
 7     - '/data/nginx-logs/*access*'    #定义日志路径
 8   #json.keys_under_root: true    #默认这个值是FALSE的，也就是我们的json日志解析后会被放在json键上。设为TRUE，所有的keys就会被放到根节点。
 9   #json.overwrite_keys: true    #是否要覆盖原有的key，这是关键配置，将keys_under_root设为TRUE后，再将overwrite_keys也设为TRUE，就能把filebeat默认的key值给覆盖了。
10   #fields_under_root: true    #如果该选项设置为true，则新增fields成为*目录，而不是将其放在fields目录下，自定义的field会覆盖filebeat默认的field。
11   #exclude_lines: ['^DBG',"^$"]     #排除以DBG开头和空行
12   tags: ["json_nginxaccess"]    #列表中添加标签，用过过滤
13   document_type: json-nginxaccess    #设定Elasticsearch输出时的document的type字段 可以用来给日志进行分类。Default: log
14   tail_files: true    #Filebeat从文件尾开始监控文件新增内容，非从头开始
15 
16   #fields:
17   #    log_source: nginx
18 
19 - type: log
20   enabled: true
21   paths:
22     - '/data/nginx-logs/*error*'
23   #json.keys_under_root: true
24   #json.overwrite_keys: true
25   tags: ["json_nginxerror"]
26   document_type: json-nginxerror
27   
28   
29 output.redis:
30   hosts: ["192.168.32.231"]    #输出到redis的机器
31   port: 6379    #redis端口号
32   db: 2    #redis数据库的一个整数索引标识，redis不同于mysql有一个库的名字。redis总共0-15默认16个库。
33   timeout: 5    #连接超时时间
34   key: "default_list"    #以default_list的keys传输到redis

 1 cluster.name: cc-cluster    #集群名称（自定义）
 2 node.name: cc-1    #节点名称（自定义）
 3 node.master: true    #是否有资格成为master主节点，如只做存储则为false
 4 node.data: true    #是否做存储节点，当这两个都为false时，该节点作为client
 5 path.data: /usr/local/ELK/elasticsearch-6.3.0/data    #数据存储目录
 6 path.logs: /usr/local/ELK/elasticsearch-6.3.0/logs    #日志存储目录
 7 network.host: 192.168.32.231    #监听本地ip
 8 http.port: 9200    #http监听端口
 9 #transport.tcp.port: 9300    #tcp通讯端口
10 #transport.tcp.compres: true
11 gateway.recover_after_nodes: 2    #一个集群中的N个节点启动后,才允许进行恢复处理
12 #gateway.recover_after_time: 5    #设置初始化恢复过程的超时时间,超时时间从上一个配置中配置的N个节点启动后算起
13 gateway.expected_nodes: 1    # 设置这个集群中期望有多少个节点.一旦这N个节点启动(并且recover_after_nodes也符合),立即开始恢复过程(不等待recover_after_time超时)
14 bootstrap.memory_lock: true    #锁定内存，阻止操作系统管理内存，可以有效的防止内存数据被交换到磁盘空间，交换过程中磁盘会抖动，会对性能产生较大的影响。因为ES是基于JAVA开发的可以能过垃圾回收器来单独管理内存，所以关闭操作系统级别的内存管理可以提升性能
15 bootstrap.system_call_filter: false    #关闭操作系统内核验证
16 
17 discovery.zen.ping.unicast.hosts: ["192.168.32.231","192.168.32.230","192.168.32.232"]    #集群初始化连接列表，节点启动后，首先通过连接初始化列表里的地址去发现集群。
18 discovery.zen.minimum_master_nodes: 2    #为了防止集群脑裂，目前的策略是当且仅当节点有超过半数的master候选者存活时（当前两台master），集群才会进行master选举

 1 input {
 2     redis {
 3         data_type => "list"　　#支持三种 data_type（实际上是redis_type），不同的数据类型会导致实际采用不同的 Redis 命令操作：1、list => BLPOP 2、channel => SUBSCRIBE 3、pattern_channel => PSUBSCRIBE 
 4         key => "default_list"　　#filebeat定义的key
 5         host => "192.168.32.231"
 6         port => 6379
 7         db => 2
 8         threads => 1
 9         #codec => json
10         #type => "json-nginxaccess"
11     }
12 }
13 
14 
15 filter {
16     json {
17         source => "message"
18         remove_field => ["beat"]
19         #remove_field => ["beat","message"]
20     }
21 
22     geoip {
23                source => "clientip"
24     }
25 
26     geoip {
27         source => "clientip"
28         target => "geoip"
29         #database => "/root/GeoLite2-City_20170704/GeoLite2-City.mmdb"
30         add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
31         add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
32     }
33 
34     grok {
35                 match => ["message","%{TIMESTAMP_ISO8601:isotime}"]
36         }
37     date {
38         locale => "en"
39         match => ["isotime","ISO8601"]
40         #match => ["isotime","dd/MMM/yyyy:HH:mm:ss Z"]
41         target => "@timestamp"
42     }
43     
44         mutate {
45                 convert => [ "[geoip][coordinates]", "float"]
46                 remove_field => ["message"]
47                 #remove_field => ["@timestamp"]
48         }
49 }
50 
51 output {
52     if "json_nginxaccess" in [tags] {
53             elasticsearch {
54                     #hosts => ["127.0.0.1:9200"]
55                     hosts => ["192.168.32.230:9200","192.168.32.231:9200","192.168.32.232:9200"]
56                     #index => "logstash-%{type}-%{+YYYY.MM.dd}"
57                     index => "logstash-json-nginxaccess-%{+YYYY.MM.dd}"
58                     document_type => "%{[@metadata][type]}"
59                     #flush_size => 2000
60                     #idle_flush_time => 10
61                     sniffing => true
62                     template_overwrite => true
63             }
64     }
65 
66     if "json_nginxerror" in [tags] {
67             elasticsearch {
68                     #hosts => ["127.0.0.1:9200"]
69                     hosts => ["192.168.32.230:9200","192.168.32.231:9200","192.168.32.232:9200"]
70                     #index => "logstash-%{type}-%{+YYYY.MM.dd}"
71                     index => "logstash-json-nginxerror-%{+YYYY.MM.dd}"
72                     document_type => "%{type}"
73                     #flush_size => 2000
74                     #idle_flush_time => 10
75                     sniffing => true
76                     template_overwrite => true
77             }
78     }
79         stdout {
80                 codec => "rubydebug"
81         }
82 }

 1 upstream kibana_server {
 2         server  127.0.0.1:5601 weight=1 max_fails=3  fail_timeout=60;
 3 }
 4 
 5 server {
 6         listen 80;
 7         server_name www.cc.com;
 8         auth_basic "Restricted Access";      # 验证
 9         auth_basic_user_file /etc/nginx/htpasswd.users;             # 验证文件
10         location / {
11         proxy_pass http://kibana_server;
12         proxy_http_version 1.1;
13         proxy_set_header Upgrade $http_upgrade;
14         proxy_set_header Connection 'upgrade';
15         proxy_set_header Host $host;
16         proxy_cache_bypass $http_upgrade;
17         }
18 }