如何使用Elastic+logstash+filebeat做Nginx日志分析

这篇文章将为大家详细讲解有关如何使用弹性logstash filebeat做Nginx日志分析，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

一、弹性橡胶安装

1、安装（弹性6.3.2版本依赖java JDK8)

下载合适的版本：

卷曲-L-O https://神器。有弹性。co/下载/弹性搜索/弹性搜索-6。4 .0 .焦油。地面零点

焦油xff elasticsearch-6.4.0.tar.gz

cd elasticsearch-6.4.0/bin。/有弹性搜索

2、集群健康检查

curl-XGET http://127。0 .0 .1:9200/_ cat/health？v集群健康查看

curl-XGET http://127。0 .0 .1:9200/_ cat/nodes？v节点状态查看

curl-XGET http://127。0 .0 .1:9200/_ cat/indexs？v查看索引

curl-XPUT http://127。0 .0 .1:9200/客户？漂亮的添加顾客索引

curl-XDELETE http://127。0 .0 .1:9200/客户？漂亮的删除索引

3、配置

cluster.name:集群名

node.name:节点名

path.data:数据存储路径

path.logs:日志存储路径

network.host:监听地址

http.port:监听端口

虚拟机(Java虚拟机的缩写)配置、测井配置参考官方文档

重要参数：

路径设置

群集名称

节点名

网络主机

发现设置

堆大小

堆转储路径

气相色谱记录

临时目录

重要的系统参数：

禁用交换

增加文件描述符

确保足够的虚拟内存

确保足够的螺纹

JVM域名系统缓存设置

4、作为守护进程运行。/bin/elasticsearch -d -p pid启动

杀猫pid停止

5、设置x光包

参考x包装破解方法

二基巴纳安装及配置

wget https://工件。有弹性。co/downloads/kibana/kibana-6。4 .0-Linux-x86 _ 64。焦油。gztar-xzf kibana-6。4 .0-Linux-x86 _ 64。焦油。地面零点

cd kibana-6.4.0-linux-x86_64/

1、启动/bin/kibana

2、配置：server.port: 5601

server.host: '192.168.12.81 '

kibana.index: ' .基巴纳

弹性搜索。用户名： '弹性'

弹性搜索。密码： ' dinpay '

三、logstash安装及配置

wget https://工件。有弹性。co/下载/日志隐藏/日志隐藏-6。4 .0 .焦油。地面零点

配置filebeat收集Nginx日志：(Nginx.conf)

输入{

beats {

端口=5044

 
codec => "json"    
}                
}

output {                
elasticsearch {                
hosts => ["127.0.0.1:9200"]                
index => "test1-nginx-access-%{+YYYY.MM.dd}"                
template_overwrite => true              
user => elastic
password => dinpay      
}          
}

配置logstash.yml  elastic安装在本机（没有配置https）

xpack.monitoring.enabled: true  
xpack.monitoring.elasticsearch.username: elastic    
xpack.monitoring.elasticsearch.password: dinpay
xpack.monitoring.elasticsearch.url: ["http://127.0.0.1:9200"]

四、filebeat安装及配置

wget https://artifacts.elastic.co/downloads/beats/filebeat/https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-linux-x86_64.tar.gz

tar -xf  filebeat-6.4.0-linux-x86_64.tar.gz

cd filebeat-6.4.0-linux-x86_64

配置 filebeat.yml

• type:  log
  paths:

• /var/log/nginx/access.log

output.logstash:

hosts: ["192.168.12.81:5044"]

xpack.monitoring:
enabled: true
elasticsearch:    
hosts: ["http://192.168.12.81:9200", "http://192.168.12.81:9200"]
username: elastic
password: dinpay

五、Nginx 日志格式配置：

log_format json '{"@timestamp":"$time_iso8601",'            
'"host":"$server_addr",'
'"clientip":"$clientRealIp",'
'"remote_user":"$remote_user",'
'"request":"$request",'      
'"http_user_agent":"$http_user_agent",'
'"size":$body_bytes_sent,'    
'"responsetime":$request_time,'
'"upstreamtime":"$upstream_response_time",'  
'"upstreamhost":"$upstream_addr",'
'"http_host":"$host",'
'"url":"$uri",'
'"domain":"$host",'
'"xff":"$http_x_forwarded_for",'
'"referer":"$http_referer",'  
'"status":"$status",'
'"ss":"$upstream_status"}';

access_log  /var/log/nginx/access.log  json;
map $http_x_forwarded_for $clientRealIp {
""  $remote_addr;
~^(?P<firstAddr>[0-9\.]+),?.*$    $firstAddr;
}

关于“如何使用Elastic+logstash+filebeat做Nginx日志分析”这篇文章就分享到这里了，希望