Elastic Stack–ELFK实例与Dashboard界面

 前言：本博客仅作记录学习使用，部分图片出自网络，如有侵犯您的权益，请联系删除

 学习B站博主教程笔记： 

最新版适合自学的ElasticStack全套视频（Elk零基础入门到精通教程）Linux运维必备—ElasticSearch+Logstash+Kibana精讲_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1VMW3e6Ezk/?spm_id_from=333.1007.tianma.1-1-1.click&vd_source=e539f90574cdb0bc2bc30a8b5cb3fc00

一、ELFK实例

实例架构图如下：

 完成以下内容:
   (1)收集nginx日志,写入ES集群,分片数量为3,副本数量为0,索引名称为"cluster-linux-nginx";
   (2)收集tomcat日志,写入ES集群,分片数量为5,副本数量为0,索引名称为"cluster-linux-tomcat";
   (3)收集app日志,写入ES集群,分片数量为10,副本数量为0,索引名称为"cluster-linux-app";
   (4)分析出nginx,tomcat的客户端IP所属城市,访问时使用的设备类型等

（1）创建好索引模板：

cluster-linux-nginx模板：

cluster-linux-tomcat模板：

cluster-linux-app模板：

（2）收集nginx日志

many-to-logstash.yml

 filebeat.inputs:


 - type: log


   paths: 


     - /var/log/nginx/access.log*


   json.keys_under_root: true


 ​


 output.logstash:


   hosts: ["192.168.1.10:8888"]

（3）收集tomcat日志

 filebeat.inputs:


 - type: log


   paths: 


     - /root/software/apache-tomcat-10.1.28/logs/*.txt


   json.keys_under_root: true


 ​


 output.logstash:


   hosts: ["192.168.1.10:7777"]

（4）收集app日志

（5）logstash收集日志

beats-to-es.conf：

 input {


   beats {


     type => "nginx"


     port => 8888


   }


 ​


   beats {


     type => "tomcat"


     port => 7777


   }


 }


 filter {


   mutate {


     remove_field => ["tags","log","agent","@version","input","ecs"]


   }


   if ["type"] == ["nginx"] {


     geoip {


       source => "clientip"


       target => "cluster-linux-geoip"


     }


     useragent {


        source => "http_user_agent"


        target => "cluster-linux-useragent"


     }


   }


 ​


   if ["type"] == ["tomcat"] {


     geoip {


       source => "clientip"


       target => "cluster-linux-geoip"


     }


     useragent {


        source => "AgentVersion"


        target => "cluster-linux-useragent"


     }


   }


 }


 output {


   stdout{}


   if ["type"] == ["nginx"] {


     elasticsearch {


       hosts => ["192.168.1.10:9200","192.168.1.11:9200","192.168.1.12:9200"]


       index => "cluster-linux-nginx"


     }


   }


   if ["type"] == ["nginx"] {


     elasticsearch {


       hosts => ["192.168.1.10:9200","192.168.1.11:9200","192.168.1.12:9200"]


       index => "cluster-linux-tomcat"


     }


   }


 }

二、kibana自定义dashboard实战案例

1.统计PV(指标)

 Page View(简称:"PV")


     页面访问或点击量。


     


 kibana界面鼠标依次点击如下:


     (1)菜单栏;


     (2)Visualize Library(可视化库);


     (3)新建可视化


     (4)基于聚合


     (5)指标


     (6)选择索引模式(例如"oldboyedu-linux80-nginx*")


     (7)指标栏中选择:


         聚合: 计数


         定制标签: PV

2.统计客户端IP(指标)

 客户端IP:


     通常指的是访问Web服务器的客户端IP地址，但要注意，客户端IP数量并不难代表UV。


     


 kibana界面鼠标依次点击如下:


     (1)菜单栏;


     (2)Visualize Library(可视化库);


     (3)创建可视化


     (4)基于聚合


     (5)指标


     (6)选择索引模式(例如"oldboyedu-linux80-nginx*")


     (7)指标栏中选择:


         聚合: 唯一计数


         字段: clientip.keyword


         定制标签: IP

3.统计web下载带宽(指标)

 带宽:


     统计nginx返回给客户端文件大小的字段进行累计求和。


     


 kibana界面鼠标依次点击如下:


     (1)菜单栏;


     (2)Visualize Library(可视化库);


     (3)创建可视化


     (4)基于聚合


     (5)指标


     (6)选择索引模式(例如"oldboyedu-linux80-nginx*")


     (7)指标栏中选择:


         聚合: 求和


         字段: SendBytes


         定制标签: 带宽

4.访问页面统计(水平条形图)

 访问资源统计:


     对URI的访问次数统计。


 ​


 kibana界面鼠标依次点击如下:


     (1)菜单栏;


     (2)Visualize Library(可视化库);


     (3)创建可视化


     (4)基于聚合


     (5)水平条形图


     (6)选择索引模式(例如"oldboyedu-linux80-nginx*")


     (7)指标栏中设置(即Y轴)


         聚合: 计数


         定制标签: 访问量


     (8)添加"存储痛"，选择"X"轴


         聚合: 词


         字段: uri.keyword


         ...


         定制标签: URI

5.分析客户端的城市分布(垂直条形图)

 分析客户端的城市分布:


     需要借助logstash的filter插件的geoip实现对客户端的IP地址进行地域解析。


 ​


 kibana界面鼠标依次点击如下:


     (1)菜单栏;


     (2)Visualize Library(可视化库);


     (3)创建可视化


     (4)基于聚合


     (5)垂直条形图


     (6)选择索引模式(例如"oldboyedu-linux80-nginx*")


     (7)指标栏中设置(即Y轴)


         聚合: 计数


         定制标签: 城市分布


     (8)添加"存储痛"，选择"X"轴


         聚合: 词


         字段: oldboyedu-linux80-nginx.city_name.keyword


         ...


         定制标签: 城市名称

6.城市分布百分比(饼图)

分析客户端的城市分布:


    需要借助logstash的filter插件的geoip实现对客户端的IP地址进行地域解析。


 


kibana界面鼠标依次点击如下:


    (1)菜单栏;


    (2)Visualize Library(可视化库);


    (3)创建可视化


    (4)基于聚合


    (5)饼图


    (6)选择索引模式(例如"oldboyedu-linux80-nginx*")


    (7)指标栏中设置(即Y轴)


        聚合: 计数


        定制标签: 城市分布


    (8)添加"存储痛"，选择"X"轴


        聚合: 词


        字段: oldboyedu-linux80-nginx.city_name.keyword


        ...


        定制标签: 城市名称

7.IP的TopN统计(仪表盘)

IP的TopN统计:


    统计访问量的客户端IP最大的是谁。


 


kibana界面鼠标依次点击如下:


    (1)菜单栏;


    (2)Visualize Library(可视化库);


    (3)创建可视化


    (4)基于聚合


    (5)仪表盘


    (6)选择索引模式(例如"oldboyedu-linux80-nginx*")


    (7)指标栏中设置(即Y轴)


        聚合: 计数


    (8)添加"存储痛"，选择"X"轴


        聚合: 词


        字段: client.keyword


        顺序: 降序


        大小: 3


        ...

8.自定义dashboard

kibana界面鼠标依次点击如下:


    (1)菜单栏;


    (2)Dashboard


    (3)创建仪表盘


    (4)从可视化库中添加即可。