centos7系统ELK部署

1、Elasticsearch-7.13.2集群部署

(1) 准备环境

  • 服务器
安装软件主机名IP地址系统版本配置
Elasticsearchelk121.41.102.94(172.25.192.54)centos7.92核4G
Elasticsearches1121.199.166.7(172.25.192.55)centos7.92核4G
Elasticsearches2121.41.178.91(172.25.192.56)centos7.92核4G
若swap分区没有内存建议配置到5G IP地址括号里的是私网ip

关闭防火墙和selinux

三台服务器都修改主机名并做域名解析

[root@localhost ~]# hostnamectl set-hostname elk

[root@localhost ~]# hostnamectl set-hostname es1

[root@localhost ~]# hostnamectl set-hostname es2

[root@elk ~]# vim /etc/hosts
121.41.102.94   elk
121.41.178.91   es2
121.199.166.7   es3

(2) 三台服务器安装Elasticsearch-7.13.2

三台服务器同样操作

1.创建普通用户
[root@elk ~]# useradd es
[root@elk ~]# echo "123456" | passwd --stdin "es"
2.下载源码包
[root@elk ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.2-linux-x86_64.tar.gz
3.解压到指定目录
[root@elk ~]# tar xvzf elasticsearch-7.13.2-linux-x86_64.tar.gz -C /usr/local/
[root@elk ~]# cd /usr/local/
[root@elk local]# mv elasticsearch-7.13.2/ es
注意:云服务器下面配置填写私网ip
[root@elk ~]# vim /usr/local/es/config/elasticsearch.yml
cluster.name: elk                                     #集群名称,各节点配成相同的集群名称。
cluster.initial_master_nodes: ["172.25.192.54","172.25.192.55","172.25.192.56"] #集群ip,默认为空,如果为空则加入现有集群,第一次需配置 单节点模式这里的地址只填写本机地址
node.name: elk01           # 节点名称,各节点配置不同。例:另外两台服务器名称修改elk02和elk03
node.master: true          #指示某个节点是否符合成为主节点的条件。
node.data: true            #指示节点是否为数据节点。数据节点包含并管理索引的一部分。
path.data: /data/elasticsearch/data   #数据存储目录。
path.logs: /data/elasticsearch/logs   #日志存储目录。
bootstrap.memory_lock: false          #内存锁定,是否禁用交换,测试环境建议改为false。
bootstrap.system_call_filter: false   #系统调用过滤器。
network.host: 0.0.0.0                 #绑定节点IP。
http.port: 9200                       #rest api端口。
transport.tcp.port: 9300
# 单节点模式下,将discovery开头的行注释      
discovery.seed_hosts:   ["172.25.192.55", "172.25.192.56"]  #提供其他 Elasticsearch 服务节点的单点广播发现功能,这里填写除了本机的其他ip
discovery.zen.minimum_master_nodes: 2                 #集群中可工作的具有Master节点资格的最小数量,官方的推荐值是(N/2)+1,其中N是具有master资格的节点的数量。
discovery.zen.ping_timeout: 150s                   #节点在发现过程中的等待时间。
discovery.zen.fd.ping_retries: 10                  #节点发现重试次数。
client.transport.ping_timeout: 60s                 
http.cors.enabled: true                     #是否允许跨源 REST 请求,用于允许head插件访问ES。
http.cors.allow-origin: "*"                 #允许的源地址。
4.设置JVM堆大小 #7.0默认为4G
[root@elk es]# sed -i 's/## -Xms4g/-Xms4g/' /usr/local/es/config/jvm.options
[root@elk es]# sed -i 's/## -Xmx4g/-Xmx4g/' /usr/local/es/config/jvm.options
注意:
确保堆内存最小值(Xms)与最大值(Xmx)的大小相同,防止程序在运行时改变堆内存大小。
如果系统内存足够大,将堆内存最大和最小值设置为31G,因为有一个32G性能瓶颈问题。
堆内存大小不要超过系统内存的50%
5.创建ES数据及日志存储目录
[root@elk es]# mkdir -p /data/elasticsearch/{data,logs}
6.修改安装目录及存储目录权限
[root@elk es]# chown es.es /data/elasticsearch/ -R
[root@elk es]# chown es.es /usr/local/es -R
7.系统优化
(1)增加最大文件打开数
[root@elk es]# echo "* soft nofile 65536" >> /etc/security/limits.conf
(2)增加最大进程数
[root@elk es]# echo "* soft nproc 65536" >> /etc/security/limits.conf
(3)增加最大内存映射数
[root@elk es]# echo "vm.max_map_count=262144" >> /etc/sysctl.conf
[root@elk es]# sysctl -p
vm.swappiness = 0
kernel.sysrq = 1
net.ipv4.neigh.default.gc_stale_time = 120
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 1024
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_slow_start_after_idle = 0
vm.max_map_count = 262144
[root@elk es]# echo "* hard nofile 65536" >>   /etc/security/limits.conf

(3) 启动Elasticsearch

三台用户都切换es普通用户启动Elasticsearch

[root@elk es]# su - es
[es@elk ~]$ /usr/local/es/bin/elasticsearch

启动成功

(4) 访问网页查看集群部署是否成功

(5) 安装配置head监控插件 (只在第一台elk服务器部署)

  • 服务器
安装软件主机名IP地址系统版本配置
Elasticsearch-head-masterelk121.41.102.94(172.25.192.54)centos7.92核4G

(1)安装node

#下载node-v10.24.1源码包
[root@elk ~]# wget https://nodejs.org/dist/v10.24.1/node-v10.24.1-linux-x64.tar.gz
#解压至指定目录并改名
[root@elk ~]# tar xvzf node-v10.24.1-linux-x64.tar.gz -C /usr/local/
[root@elk ~]# mv /usr/local/node-v10.24.1-linux-x64/ /usr/local/node
#设置环境变量
[root@elk ~]# echo "export PATH=/usr/local/node/bin:$PATH" >> /etc/profile
[root@elk ~]# source /etc/profile
#检查node版本号
[root@elk ~]# node --version
v10.24.1

(2)下载head插件

[root@elk ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
[root@elk ~]# yum -y install unzip
[root@elk ~]# unzip /usr/local elasticsearch-head-master.zip
[root@elk ~]# mv elasticsearch-head-master /usr/local/

(3)安装grunt

[root@elk ~]# cd /usr/local/elasticsearch-head-master
[root@elk elasticsearch-head-master]# npm install -g grunt-cli
/usr/local/node/bin/grunt -> /usr/local/node/lib/node_modules/grunt-cli/bin/grunt
+ grunt-cli@1.4.3
added 59 packages from 69 contributors in 24.579s
[root@elk elasticsearch-head-master]# grunt -version
grunt-cli v1.4.3

(4)修改head源码

[root@elk elasticsearch-head-master]# vi /usr/local/elasticsearch-head-master/Gruntfile.js  +95
image-20200109194143461

添加hostname,注意在上一行末尾添加逗号,hostname 不需要添加逗号

[root@elk elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/_site/app.js +4373

原本是http://localhost:9200 ,如果head和ES不在同一个节点,注意修改成ES的IP地址

(5)下载head必要的文件

[root@elk ~]# wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@elk ~]# yum -y install bzip2
[root@elk ~]# mkdir /tmp/phantomjs
[root@elk ~]# mv phantomjs-2.1.1-linux-x86_64.tar.bz2 /tmp/phantomjs/
[root@elk ~]# chmod 777 /tmp/phantomjs -R

(6)运行head

[root@elk ~]# cd /usr/local/elasticsearch-head-master/
[root@elk elasticsearch-head-master]# npm install 
npm install 执行错误解析:
npm ERR! code ELIFECYCLE
npm ERR! errno 1
npm ERR! phantomjs-prebuilt@2.1.16 install: `node install.js`
npm ERR! Exit status 1
npm ERR! 
npm ERR! Failed at the phantomjs-prebuilt@2.1.16 install script.
npm ERR! This is probably not a problem with npm. There is likely additional logging output above.

npm ERR! A complete log of this run can be found in:
npm ERR!     /root/.npm/_logs/2021-04-21T09_49_34_207Z-debug.log

解决:
[root@elk elasticsearch-head-master]# npm install phantomjs-prebuilt@2.1.16 --ignore-scripts  # 具体的版本按照上述报错修改
[root@elk elasticsearch-head-master]# nohup grunt server &

(7)测试

访问http://121.41.102.94:9100

2、Kibana部署

  • 服务器
安装软件主机名IP地址系统版本配置
Kibanaelk121.41.102.94(172.25.192.54)centos7.92核4G
软件版本:nginx-1.20.1、kibana-7.13.2-linux-x86_64.tar.gz

安装配置Kibana

(1)下载kibana源码包

[root@elk ~]# wget https://artifacts.elastic.co/downloads/kibana/kibana-7.13.2-linux-x86_64.tar.gz
[root@elk ~]# tar xvzf kibana-7.13.2-linux-x86_64.tar.gz -C /usr/local/
[root@elk ~]# mv /usr/local/kibana-7.13.2-linux-x86_64/ /usr/local/kibana

(2)配置

[root@elk ~]# vim /usr/local/kibana/config/kibana.yml
server.port: 5601
server.host: "172.25.192.54"
elasticsearch.hosts: ["http://172.25.192.54:9200"]
kibana.index: ".kibana"
i18n.locale: "zh-CN"
#配置项含义:
server.port kibana服务端口,默认5601
server.host kibana主机IP地址,默认localhost
elasticsearch.url   用来做查询的ES节点的URL,默认http://localhost:9200
kibana.index        kibana在Elasticsearch中使用索引来存储保存的searches, visualizations和dashboards,默认.kibana

(3)启动

[root@elk kibana]# nohup /usr/local/kibana/bin/kibana --allow-root &

安装配置Nginx反向代理

(1)安装nginx

[root@elk kibana]# yum -y install nginx

(2)配置反向代理

[root@elk kibana]# vim /etc/nginx/nginx.conf
user  nginx;
worker_processes auto;
error_log  /var/log/nginx/error.log;
pid        /var/run/nginx.pid;
worker_rlimit_nofile 65535;

events {
    worker_connections  65535;
    use epoll;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;
    server_names_hash_bucket_size 128;
    autoindex on;

    sendfile        on;
    tcp_nopush     on;
    tcp_nodelay on;

    keepalive_timeout  120;
    fastcgi_connect_timeout 300;
    fastcgi_send_timeout 300;
    fastcgi_read_timeout 300;
    fastcgi_buffer_size 64k;
    fastcgi_buffers 4 64k;
    fastcgi_busy_buffers_size 128k;
    fastcgi_temp_file_write_size 128k;
    #gzip模块设置
    gzip on; #开启gzip压缩输出
    gzip_min_length 1k;    #最小压缩文件大小
    gzip_buffers 4 16k;    #压缩缓冲区
    gzip_http_version 1.0;    #压缩版本(默认1.1,前端如果是squid2.5请使用1.0)
    gzip_comp_level 2;    #压缩等级
    gzip_types text/plain application/x-javascript text/css application/xml;    #压缩类型,默认就已经包含textml,所以下面就不用再写了,写上去也不会有>问题,但是会有一个warn。
    gzip_vary on;
    #开启限制IP连接数的时候需要使用
    #limit_zone crawler $binary_remote_addr 10m;
    #tips:
    #upstream bakend{#定义负载均衡设备的Ip及设备状态}{
    #    ip_hash;
    #    server 127.0.0.1:9090 down;
    #    server 127.0.0.1:8080 weight=2;
    #    server 127.0.0.1:6060;
    #    server 127.0.0.1:7070 backup;
    #}
    #在需要使用负载均衡的server中增加 proxy_pass http://bakend/;
    server {
        listen       80;
        server_name  172.25.192.54;

        #charset koi8-r;

       # access_log  /var/log/nginx/host.access.log  main;
        access_log off;

        location / {
             auth_basic "Kibana";   #可以是string或off,任意string表示开启认证,off表示关闭认证。
        auth_basic_user_file /etc/nginx/passwd.db;   #指定存储用户名和密码的认证文件。
             proxy_pass http://172.25.192.54:5601;
             proxy_set_header Host $host:5601;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_set_header Via "nginx";
                     }
         location /status {
             stub_status on; #开启网站监控状态 
             access_log /var/log/nginx/kibana_status.log; #监控日志 
             auth_basic "NginxStatus"; }

         location /head/{
             auth_basic "head";
             auth_basic_user_file /etc/nginx/passwd.db;
             proxy_pass http://172.25.192.54:9100/;
             proxy_set_header Host $host:9100;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_set_header Via "nginx";
                         }

        # redirect server error pages to the static page /50x.html
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

(3)配置授权用户和密码

[root@elk kibana]# yum -y install  httpd-tools
[root@elk kibana]# htpasswd -cm /etc/nginx/passwd.db kibana
[root@elk kibana]# htpasswd -m /etc/nginx/passwd.db head

(4)启动nginx

[root@elk kibana]# systemctl start nginx
浏览器访问http://121.41.102.94

3、Logstash部署

  • 服务器
安装软件主机名IP地址系统版本配置
Logstashelk121.41.102.94(172.25.192.54)centos7.92核4G
软件版本:logstash-7.13.2.tar.gz

安装配置Logstash

(1)安装

[root@elk ~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-7.13.2-linux-x86_64.tar.gz
[root@elk ~]# tar xvzf logstash-7.13.2-linux-x86_64.tar.gz -C /usr/local/
[root@elk ~]# mv /usr/local/logstash-7.13.2/ /usr/local/logstash

(2)测试文件

[root@elk ~]# mkdir -p /usr/local/logstash/etc/conf.d
标准输入=>标准输出及es集群
1、启动logstash

2、启动后直接在终端输入数据

3、数据会由logstash处理后返回并存储到es集群中
[root@elk ~]# vim /usr/local/logstash/etc/conf.d/input.conf
input {
	stdin {}
}
[root@elk ~]# vim /usr/local/logstash/etc/conf.d/output.conf
output {
        stdout {
                codec => rubydebug
        }
        elasticsearch {
                hosts => ["172.25.192.54","172.25.192.55","172.25.192.56"]
                index => 'logstash-debug-%{+YYYY-MM-dd}'
    }

(3)启动

[root@elk ~]# nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/conf.d/ &
浏览器访问http://121.41.102.94/head

kafka部署

  • 服务器
安装软件主机名IP地址系统版本配置
zookeeper/kafkaKafka110.36.192.240centos7.91核2G
zookeeper/kafkaKafka210.36.192.239centos7.91核2G
zookeeper/kafkaKafka310.36.192.142centos7.91核2G
关闭防火墙和selinux
  • 软件版本:jdk-8u121-linux-x64.tar.gz、kafka_2.11-2.0.0.tgz
  • 示例节点:10.3.145.41

1.安装配置jdk8(三台服务器同操作)

#上传jdk源码包至服务器
#解压到指定目录并改名
[root@kafka1 ~]# tar xvzf jdk-8u211-linux-x64.tar.gz -C /usr/local/
[root@kafka1 ~]# mv /usr/local/jdk1.8.0_211/ /usr/local/java
#配置环境变量
[root@kafka1 ~]# echo "export PATH=/usr/local/java/bin:$PATH" >> /etc/profile
[root@kafka1 ~]# source /etc/profile
#查看java版本号
[root@kafka1 ~]# java -version
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)

2.安装配置ZK(三台服务器同操作)

Kafka运行依赖ZK,Kafka官网提供的tar包中,已经包含了ZK,这里不再额下载ZK程序。

(1)安装

#上传kafka包至服务器
#解压至指定目录并改名
[root@kafka1 ~]# tar xvzf kafka_2.11-2.0.0.tgz  -C /usr/local/
[root@kafka1 ~]# mv /usr/local/kafka_2.11-2.0.0/ /usr/local/kafka
[root@kafka1 ~]# vim /usr/local/kafka/config/zookeeper.properties
dataDir=/opt/data/zookeeper/data 
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181 
tickTime=2000 
initLimit=20 
syncLimit=10 
server.1=10.36.192.240:2888:3888           #kafka集群IP:Port .1为id 3处要对应
server.2=10.36.192.239:2888:3888
server.3=10.36.192.142:2888:3888
#配置项含义:
dataDir ZK数据存放目录。
dataLogDir  ZK日志存放目录。
clientPort  客户端连接ZK服务的端口。
tickTime        ZK服务器之间或客户端与服务器之间维持心跳的时间间隔。
initLimit       允许follower(相对于Leaderer言的“客户端”)连接并同步到Leader的初始化连接时间,以tickTime为单位。当初始化连接时间超过该值,则表示连接失败。
syncLimit   Leader与Follower之间发送消息时,请求和应答时间长度。如果follower在设置时间内不能与leader通信,那么此follower将会被丢弃。
server.1=10.36.192.240:2888:3888    2888是follower与leader交换信息的端口,3888是当leader挂了时用来执行选举时服务器相互通信的端口。
创建data、log目录
[root@kafka1 ~]# mkdir -p /opt/data/zookeeper/{data,logs}
创建myid文件(其他2台服务器各追加2和3至文件里)
[root@kafka1 ~]# echo 1 > /opt/data/zookeeper/data/myid            

3.配置Kafka(三台服务器同操作)

(1)配置

[root@kafka1 kafka]# vim /usr/local/kafka/config/server.properties
broker.id=1           #其他2台服务器改为对应的2和3
listeners=PLAINTEXT://10.36.192.240:9092     #ip改为本机ip
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=10.36.192.240:2181,10.36.192.239:2181,10.36.192.142:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
配置项含义:
broker.id   每个server需要单独配置broker id,如果不配置系统会自动配置。
listeners       监听地址,格式PLAINTEXT://IP:端口。
num.network.threads 接收和发送网络信息的线程数。
num.io.threads          服务器用于处理请求的线程数,其中可能包括磁盘I/O。
socket.send.buffer.bytes    套接字服务器使用的发送缓冲区(SO_SNDBUF)
socket.receive.buffer.bytes 套接字服务器使用的接收缓冲区(SO_RCVBUF)
socket.request.max.bytes        套接字服务器将接受的请求的最大大小(防止OOM)
log.dirs        日志文件目录。
num.partitions  partition数量。
num.recovery.threads.per.data.dir       在启动时恢复日志、关闭时刷盘日志每个数据目录的线程的数量,默认1。
offsets.topic.replication.factor        偏移量话题的复制因子(设置更高保证可用),为了保证有效的复制,偏移话题的复制因子是可配置的,在偏移话题的第一次请求的时候可用的broker的数量至少为复制因子的大小,否则要么话题创建失败,要么复制因子取可用broker的数量和配置复制因子的最小值。
log.retention.hours 日志文件删除之前保留的时间(单位小时),默认168
log.segment.bytes   单个日志文件的大小,默认1073741824
log.retention.check.interval.ms 检查日志段以查看是否可以根据保留策略删除它们的时间间隔。
zookeeper.connect   ZK主机地址,如果zookeeper是集群则以逗号隔开。
zookeeper.connection.timeout.ms     连接到Zookeeper的超时时间。
创建log目录
[root@kafka1 ~]# mkdir -p /opt/data/kafka/logs

4、其他kafka节点配置

只需把配置好的安装包直接分发到其他节点,然后修改ZK的myid,Kafka的broker.id和listeners就可以了。

5、启动、验证ZK集群

(1)启动

在三个节点依次执行:

[root@kafka1 ~]# cd /usr/local/kafka
[root@kafka1 kafka]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

(2)验证

查看ZK配置

下载nmap、lsof
[root@kafka1 kafka]# yum install nmap lsof
[root@kafka1 kafka]# echo conf | nc 127.0.0.1 2181
clientPort=2181
dataDir=/opt/data/zookeeper/data/version-2
dataLogDir=/opt/data/zookeeper/logs/version-2
tickTime=2000
maxClientCnxns=60
minSessionTimeout=4000
maxSessionTimeout=40000
serverId=1
initLimit=20
syncLimit=10
electionAlg=3
electionPort=3888
quorumPort=2888
peerType=0
[root@kafka1 kafka]# echo stat |nc 127.0.0.1 2181
Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 00:39 GMT
Clients:
 /127.0.0.1:48086[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 2
Sent: 1
Connections: 1
Outstanding: 0
Zxid: 0x0
Mode: follower
Node count: 4
[root@kafka1 kafka]# lsof -i:2181
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    1733 root   95u  IPv6  25060      0t0  TCP *:eforward (LISTEN)

6、启动、验证Kafka

(1)启动

在三个节点依次执行:

[root@kafka1 kafka]# nohup bin/kafka-server-start.sh config/server.properties &
[2] 2115
[root@kafka1 kafka]# nohup: ignoring input and appending output to ‘nohup.out’

[root@kafka1 kafka]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic

Created topic "testtopic".

(2)验证

在10.36.192.240上创建topic
[root@kafka1 kafka]# bin/kafka-topics.sh --zookeeper 10.36.192.240:2181 --list
testtopic
在10.36.192.239上创建topic
[root@kafka2 kafka]# bin/kafka-topics.sh --zookeeper 10.36.192.240:2181 --list
testtopic
在10.36.192.142上创建topic
[root@kafka3 kafka]# bin/kafka-topics.sh --zookeeper 10.36.192.240:2181 --list
testtopic
模拟消息生产和消费
发送消息到10.36.192.240
[root@kafka1 kafka]# bin/kafka-console-producer.sh --broker-list 10.36.192.240:9092 --topic testtopic
>忽如一夜春风来,千树万树梨花开
从10.3.145.42接受消息
[root@kafka2 kafka]# bin/kafka-console-consumer.sh --bootstrap-server  10.36.192.240:9092 --topic testtopic --from-beginning 

张忽如一夜春风来,千树万树梨花开