首页/基礎知識庫

網站分析實戰，CentOS 7.2下ELK分析Nginx日志生產實戰(高清多圖)

 2023-11-14 阅读 23 评论 0

摘要：注：本文系原創投稿 本文以api.mingongge.com.cn域名為測試對象進行統計,日志為crm.mingongge.com.cn和risk.mingongge.com.cn請求之和(此二者域名不具生產換環境統計意義)，生產環境請根據具體需要統計的域名進行統計。 由于涉及生產線上服務器，故本文部分

注：本文系原創投稿

本文以api.mingongge.com.cn域名為測試對象進行統計,日志為crm.mingongge.com.cn和risk.mingongge.com.cn請求之和(此二者域名不具生產換環境統計意義)，生產環境請根據具體需要統計的域名進行統計。

由于涉及生產線上服務器，故本文部分服務器IP做了打碼處理。

一、服務介紹

網站分析實戰。1.1、ELK

ELK是三個開源軟件的縮寫，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件。新增了一個FileBeat，它是一個輕量級的日志收集處理工具(Agent)，Filebeat占用資源少，適合于在各個服務器上搜集日志后傳輸給Logstash，官方也推薦此工具。

Elasticsearch是個開源分布式搜索引擎，提供搜集、分析、存儲數據三大功能。它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。

Centos 7。Logstash 主要是用來日志的搜集、分析、過濾日志的工具，支持大量的數據獲取方式。一般工作方式為c/s架構，client端安裝在需要收集日志的主機上，server端負責將收到的各節點日志進行過濾、修改等操作在一并發往elasticsearch上去。

Kibana 也是一個開源和免費的工具，Kibana可以為 Logstash 和ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助匯總、分析和搜索重要數據日志。

1.2、Nginx

centos7查看日志命令？Nginx(“engine x”) 是一個高性能的HTTP和反向代理服務器，也是一個IMAP/POP3/SMTP代理服務器。 Nginx 是由 Igor Sysoev 為俄羅斯訪問量第二的 Rambler.ru 站點開發的，第一個公開版本0.1.0發布于2004年10月4日。其將源代碼以類BSD許可證的形式發布，因它的穩定性、豐富的功能集、示例配置文件和低系統資源的消耗而聞名。Nginx是一款輕量級的Web服務器/反向代理服務器及電子郵件（IMAP/POP3）代理服務器，并在一個BSD-like 協議下發行。由俄羅斯的程序設計師Igor Sysoev所開發，供俄國大型的入口網站及搜索引擎Rambler（俄文：Рамблер）使用。其特點是占有內存少，并發能力強，事實上nginx的并發能力確實在同類型的網頁服務器中表現較好，中國大陸使用nginx網站用戶有：新浪、網易、騰訊等。

本文中前端使用了nginx的反向代理功能，并使用了nginx的HTTP功能。

1.3、Kafka

centos查看用戶登錄日志、Kafka是由Apache軟件基金會開發的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。 對于像Hadoop一樣的日志數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的并行加載機制來統一線上和離線的消息處理，也是為了通過集群來提供實時的消息。

二、架構要求

2.1、架構描述

使用filebeat收集nginx日志，輸出到kafka;logstash從kafka中消費日志，通過grok進行數據格式化，輸出到elasticsearch中,kibana從elasticsearch中獲取日志，進行過濾出圖.
在這里插入圖片描述
2.2、系統版本

CentOS Linux release 7.2.1511 (Core)
3.10.0-514.26.2.el7.x86_64

centos日志文件。2.3、軟件版本

jdk1.8.0_144
nginx-1.12.2
filebeat-6.3.2
awurstmeister/kafka(docker image)
logstash-6.5.4
elasticsearch-6.4.0
kibana-6.4.0

三、linux系統環境配置與優化

#查看服務器硬件信息
dmidecode|grep "Product Name"#查看CPU型號
grep name /proc/cpuinfo#查看CPU個數
grep "physical id" /proc/cpuinfo#查看內存大小
grep MemTotal /proc/meminfo

四、系統初始化

4.1、關閉防火墻

systemctl stop filewalld

4.2、關閉selinux

setenforce 0
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config

生產車間日志。4.3、添加普通賬戶

useradd elsearch
echo "******"|passwd --stdin elsearch

4.4、配置yum源

cat /etc/yum.repos.d/CentOS-Base.repo
[base]
name=CentOS-$releasever
enabled=1
failovermethod=priority
baseurl=http://mirrors.cloud.aliyuncs.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.cloud.aliyuncs.com/centos/RPM-GPG-KEY-CentOS-7[updates]
name=CentOS-$releasever
enabled=1
failovermethod=priority
baseurl=http://mirrors.cloud.aliyuncs.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.cloud.aliyuncs.com/centos/RPM-GPG-KEY-CentOS-7[extras]
name=CentOS-$releasever
enabled=1
failovermethod=priority
baseurl=http://mirrors.cloud.aliyuncs.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.cloud.aliyuncs.com/centos/RPM-GPG-KEY-CentOS-7

4.5、清理開機自啟動服務

for i in `chkconfig --list|grep 3:on |awk '{print $1}'`;do chkconfig$i off;done
for i in crond network rsyslog sshd;do chkconfig --level 3 $ion;done
chkconfig --list|grep 3:on

生產日志樣本？4.6、服務器時間同步

echo '*/5 * * * * /usr/sbin/ntpdate time.windows.com > /dev/null2>&1' >>/var/spool/cron/root

4.7、加大文件描述符

echo '* - nofile 65535' >> /etc/security/limits.conf
tail -1 /etc/security/limits.conf
#重新登陸后生效(無需重啟)
ulimit -n(重新登陸后查看)

4.8、內核參數調優(可不操作)

\cp /etc/sysctl.conf /etc/sysctl.conf.bak
cat>>/etc/sysctl.conf<<EOF
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_max_orphans = 3276800
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65536 16777216
net.core.netdev_max_backlog = 32768
net.core.somaxconn = 32768
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout=1
net.ipv4.tcp_keepalive_time=1200
net.ipv4.tcp_max_syn_backlog = 65536
net.ipv4.ip_local_port_range = 1024 65535
EOF
/sbin/sysctl -p

五、部署開始

5.1、更改nginx日志輸出格式

5.1.1、定義日志格式

cat /etc/nginx/nginx.conf
log_format main '$remote_addr - $remote_user [$time_local]"$request" '
'$status$body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';

5.1.2、加載日志格式到對應域名配置中

cat /etc/nginx/conf.d/vhost/api.mingongge.com.cn.conf
server {
listen 80;
server_name  newtest-msp-api.mingongge.com.cn;
access_log   /var/log/nginx/api.mingongge.com.cn.log main;
}

5.1.3、reload生效

nginx -s reload

5.1.4、清空原輸出文件，并查看輸出的日志格式

:> /var/log/nginx/api.mingongge.com.cn.log
tailf /var/log/nginx/api.mingongger.com.cn.log
1xx.2xx.72.175 - - [18/Mar/2019:13:51:17 +0800] "GET/user/fund/113 HTTP/1.1" 200 673 "-" "Mozilla/5.0 (WindowsNT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) sun/1.5.6 Chrome/69.0.3497.106Electron/4.0.3 Safari/537.36" "-"

5.2、配置kafka

測試環境使用docker起的kafka，kafka部署掠過,以下任選一種
5.2.1、方法一 創建kafka topic

./kafka-topics.sh --create --topic nginxlog --replication-factor 1--partitions 1 --zookeeper localhost:2181

5.2.2、方法二

auto.create.topics.enable=true

開啟kafka自動創建topic配置

5.2.3、filebeat部署完成后確認kafka topic中有數據

./kafka-console-consumer.sh --bootstrap-server 192.168.0.53:9091--from-beginning --topic nginxlog

輸出如下

{"@timestamp":"2019-03-14T07:16:50.140Z","@metadata":{"beat":"filebeat","type":"doc","version":"6.3.2","topic":"nginxlog"},"fields":{"log_topics":"nginxlog"},"beat":{"version":"6.3.2","name":"test-kafka-web","hostname":"test-kafka-web"},"host":{"name":"test-kafka-web"},"source":"/var/log/nginx/newtest-msp-api.mingongge.com.cn-80.log","offset":114942,"message":"116.226.72.175- - [14/Mar/2019:15:16:49 +0800] newtest-msp-api.mingongge.com.cn POST\"/upstream/page\" \"-\" 200 6314\"http://newtest-msp-crm.mingongge.com.cn/\" 200 192.168.0.49:60070.024 0.024 \"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36\"\"-\""}
Processed a total of 7516 messages

測試環境中kafka地址為

192.168.0.53:9091

5.3、配置filebeat收集nginx日志

5.3.1、安裝filebeat

cd /opt/ && wget http://download.mingongge.com.cn/download/software/filebeat-6.3.2-x86_64.rpm
yum localinstall filebeat-6.3.2-x86_64.rpm -y

5.3.2、編輯配置文件

cat /etc/filebeat/filebeat.ymlfilebeat.prospectors:
- input_type: log
enabled: true
paths:
- /var/log/nginx/api.mingongge.com.cn.log#收集日志路徑
fields:
log_topics: nginxlog #kafka中topic名稱
json.keys_under_root: true
json.overwrite_keys: trueoutput.kafka:
enabled: true
hosts:["192.168.0.53:9091"] #kafka地址
topic:'%{[fields][log_topics]}' #kafka中topic名稱
partition.round_robin:
reachable_only: false
compression: gzip
max_message_bytes: 1000000
required_acks: 1

5.3.3、啟動filebeat& 開機啟動

systemctl start filebeat
systemctl enable filebeat

5.4、配置logstash

5.4.1 編輯配置

cat /usr/local/logstash/config/nginx.conf
input {
kafka {
type =>"nginxlog"
topics =>["nginxlog"]
bootstrap_servers=> ["192.168.0.53:9091"]
group_id =>"nginxlog"
auto_offset_reset=> latest
codec =>"json"
}
}filter {
if [type] == "nginxlog"{
grok {
match => {"message" => "%{COMBINEDAPACHELOG}" }
remove_field =>"message"
}
date {
match => ["timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
}
geoip {
source =>"clientip"
target =>"geoip"
database =>"/usr/local/logstash/config/GeoLite2-City.mmdb"
add_field => ["[geoip][coordinates]", "%{[geoip][longitude]}" ] #添加字段coordinates，值為經度
add_field => ["[geoip][coordinates]", "%{[geoip][latitude]}" ] #添加字段coordinates，值為緯度
}
mutate {
convert => ["[geoip][coordinates]", "float"]
}
useragent {
source =>"agent"
target =>"userAgent"
}
}
} 
output {
if [type] == 'nginxlog' {
elasticsearch {
hosts =>["http://192.168.0.48:9200"]
index =>"logstash-nginxlog-%{+YYYY.MM.dd}"
}
stdout {codec =>rubydebug}
}
}

5.4.2、使用配置文件啟動logstash服務，觀察輸出

/usr/local/logstash/bin/logstash -f nginx.conf{
"httpversion"=> "1.1",
"verb" =>"GET",
"auth"=> "-",
"@timestamp"=> 2019-03-18T06:41:27.000Z,
"type"=> "nginxlog",
"json"=> {},
"source"=> "/var/log/nginx/newtest-msp-api.mingongge.com.cn-80.log",
"fields" =>{
"log_topics"=> "nginxlog"
},
"response"=> "200",
"offset"=> 957434,
"host"=> {
"name" =>"test-kafka-web"
},
"beat"=> {
"hostname"=> "test-kafka-web",
"version"=> "6.3.2",
"name"=> "test-kafka-web"
},
"bytes"=> "673",
"request"=> "/user/fund/113",
"timestamp"=> "18/Mar/2019:14:41:27 +0800",
"referrer"=> "\"-\"",
"userAgent"=> {
"os"=> "Windows",
"major" => "4",
"patch"=> "3",
"build"=> "",
"minor"=> "0",
"os_name"=> "Windows",
"device"=> "Other",
"name"=> "Electron"
},
"geoip"=> {
"ip" => "1xx.2xx.72.175",
"country_name" => "China",
"coordinates" => [
[0] 121.4012,
[1] 31.0449
],
"region_name" => "Shanghai",
"location" => {
"lat"=> 31.0449,
"lon"=> 121.4012
},
"continent_code" => "AS",
"timezone" => "Asia/Shanghai",
"longitude" => 121.4012,
"city_name" => "Shanghai",
"country_code2" => "CN",
"region_code" => "SH",
"latitude" => 31.0449,
"country_code3" => "CN"
},
"@version"=> "1",
"clientip"=> "1xx.2xx.72.175",
"ident"=> "-",
"agent"=> "\"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) sun/1.5.6 Chrome/69.0.3497.106 Electron/4.0.3Safari/537.36\""
}

5.4.3、后臺啟動logstash
確認出現以上輸出后，將logstash分離出當前shell,并放在后臺運行

nohup /usr/local/logstash/bin/logstash -f nginx.conf &>/dev/null &

5.5、kibana配置

5.5.1、修改kibana配置

/usr/local/kibana-6.5.4-linux-x86_64/config/kibana.yml #增加高德地圖 
tilemap.url:'http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}'

5.5.2、創建Index Pattern
在這里插入圖片描述
在這里插入圖片描述
5.5.3、IP訪問TOP5

選擇柱形圖
在這里插入圖片描述
添加X軸，以geoip.ip為order by字段
在這里插入圖片描述
5.5.4 、PV

選擇metric
在這里插入圖片描述
默認統計總日志條數,即為PV數
在這里插入圖片描述
5.5.5、全球訪問地圖
選擇map
在這里插入圖片描述
Field選擇geoip.location
在這里插入圖片描述
選擇添加高德地圖
在這里插入圖片描述
5.5.6、實時流量
選擇線條圖
在這里插入圖片描述
在這里插入圖片描述
5.5.7、操作系統
選擇餅圖
在這里插入圖片描述
在這里插入圖片描述
5.5.8、登陸次數
過濾login關鍵字,并做count統計
在這里插入圖片描述
5.5.9、訪問地區
在這里插入圖片描述
5.5.10、Dashboard展示

  • IP訪問Top5:每日客戶端IP請求數最多的前五個(可分析出攻擊者IP)
  • PV:每日頁面訪問量
  • 全球訪問圖:直觀的展示用戶來自哪個國家哪個地區
  • 實時流量:根據@timestamp字段來展示單位時間的請求數(可根據異常峰值判斷是否遭遇攻擊)
  • 操作系統:展示客戶端所用設備所占比重
  • 登陸次數:通過過濾request中login的訪問記錄,粗略估算出進行過登陸的次數
  • 訪問地區:展示訪問量最多的國家或地區
  • 需展示其他指標，可進行自由發揮
    在這里插入圖片描述

參考鏈接 ：

利用ELK分析Nginx日志生產實戰(高清多圖) ：https://mp.weixin.qq.com/s/HdBUTcEfozemfbAzNGEvrw

版权声明：本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接：https://hbdhgg.com/5/172721.html

上一篇：jenkins自動部署到k8s，CentOS下ELK 7.2生產安全部署
下一篇：MySQLworkbench，詳解 MySQL 基準測試和 sysbench 工具
标签：網站分析實戰CentOS 7centos7查看日志命令centos查看用戶登錄日志centos日志文件生產車間日志生產日志樣本生產日志怎么記錄
網站分析實戰

发表评论:

最新文章
阅读排行
猜你喜欢
热门标签

本站为非赢利网站，部分文章来源或改编自互联网及其他公众平台，主要目的在于分享信息，版权归原作者所有，内容仅供读者参考，如有侵权请联系我们删除！

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息