首页 > 编程学习 > docker 部署 ES集群

docker 部署 ES集群

发布时间:2022/11/12 0:47:58

docker 部署 ES集群

1. 安装docker

在/opt/software 目录下新建docker目录,上传docker_build.sh脚本并执行

sh docker_build.sh
#!/bin/bash
yum -y install gcc
yum -y install gcc-c++
##验证gcc版本
gcc -v

##卸载老版本
yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
##更新yum软件包索引
yum makecache fast
## 安装docker ce
yum -y install docker-ce
## 启动docker
systemctl start docker 
docker version
## 创建加速器
cd /etc/docker
if [ ! -f "$daemon.json" ]; then
  touch "$daemon.json"
else
  rm -rf daemon.json
  touch "$daemon.json"
fi
tee /etc/docker/daemon.json <<-'EOF'
{
	"registry-mirrors": ["输入自己的加速器地址"]
}
EOF
systemctl daemon-reload
systemctl restart docker

2. 创建es配置文件

在/opt/software/es/config下新建 elasticsearch.yml 文件并编辑

每台服务器注意区分节点名称及IP

#集群名称 所有节点名称一致
cluster.name: scan-es-clusters

#当前该节点的名称,每个节点不能重复scan-es-node-1,scan-es-node-2,scan-es-node-3...
node.name: scan-es-node-1

#当前该节点是不是有资格竞选主节点
node.master: true

#当前该节点是否存储数据
node.data: true

#设置索引分片数
#index.number_of_shards: 20

#设置索引副本数
#index.number_of_replicas: 1

#设置为公开访问
network.host: 0.0.0.0

#设置其它节点和该节点交互的本机器的ip地址
network.publish_host: 192.168.3.126

# 设置映射端口
http.port: 9200

# 内部节点之间沟通端口
transport.tcp.port: 9300

#支持跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"

#配置集群的主机地址
discovery.seed_hosts: ["192.168.3.126", "192.168.3.127", "192.168.3.128"]
#初始主节点,使用一组初始的符合主条件的节点引导集群
cluster.initial_master_nodes: ["scan-es-node-1", "scan-es-node-2", "scan-es-node-3"]
#节点等待响应的时间,默认值是30秒,增加这个值,从一定程度上会减少误判导致脑裂
discovery.zen.ping_timeout: 30s

#配置集群最少主节点数目,通常为 (可成为主节点的主机数目 / 2) + 1
discovery.zen.minimum_master_nodes: 2
#配置集群最少正常工作节点数
#gateway.recover_after_nodes: 2

#禁用交换内存,提升效率
bootstrap.memory_lock: true

# http传输内容的最大容量
http.max_content_length: 200mb

3. 服务器优化配置

  1. root用户修改/etc/security/limits.conf,添加如下,提高进程及资源使用限制上限
* soft nofile 65536
* hard nofile 65536
* soft nproc 32000
* hard nproc 32000
* hard memlock unlimited
* soft memlock unlimited
  1. 执行命令使其生效
source /etc/profile
  1. 修改/etc/systemd/system.conf,添加如下
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity
  1. 重启服务器,或执行下面两个命令使其配置生效
systemctl daemon-reload
systemctl daemon-reexec
  1. 修改虚拟内存最大映射数
    系统虚拟内存默认最大映射数为65530,无法满足ES系统要求,需要调整为262144以上。
vim /etc/sysctl.conf

#添加参数
vm.max_map_count = 262144
  1. 重新加载/etc/sysctl.conf配置
sysctl -p

4. 安装es 7.17.4

  1. 拉取镜像

    docker pull elasticsearch:7.17.4
    
  2. es 数据挂在的目录设置读写权限

    chmod -R 777 /data/elasticsearch/
    
  3. 启动es

    注意:我们启动参数设置的-Xms4g -Xmx4g,根据服务器内存实际情况调整。
    ● Xms 为jvm启动是分配的最大内存
    ● Xmx 为jvm运行过程分配的最大内存
    ● Xss 为jvm启动的每个线程分配的内存大小,jdk1.5+默认1M

    docker run -d -p 9200:9200 -p 9300:9300 \
    -e "ES_JAVA_OPTS=-Xms4g -Xmx4g" \
    -v /opt/software/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
    -v /opt/software/es/plugins:/usr/share/elasticsearch/plugins \
    -v /data/elasticsearch/data:/usr/share/elasticsearch/data \
    --name elasticsearch  \
    --restart=always \
    elasticsearch:7.17.4
    
  4. 使用docker ps -a 发现容器频繁启动,查看日志发现有报错,重启一下服务器

    docker ps -a
    
    docker logs -f elasticsearch
    
    ERROR: [1] bootstrap checks failed. You must address the points described in the following [1] lines before starting Elasticsearch.
    bootstrap check failure [1] of [1]: memory locking requested for elasticsearch process but memory is not locked
    

5. 安装head插件(版本太老,不推荐)

  1. 拉取镜像

    docker pull mobz/elasticsearch-head:5-alpine
    
  2. 启动ElasticSearch-head

    docker run -d -p 9100:9100 \
    --name elasticsearch-head \
    --restart=always \
    mobz/elasticsearch-head:5-alpine
    
  3. ElasticSearch-Head请求Content-Type问题及连接服务器问题
    进入elasticsearch-head容器内部,修改vendor.js及app.js文件

docker exec -it 容器id /bin/sh

vi /usr/src/app/_site/vendor.js

6886行 contentType: "application/x-www-form-urlencoded 
   改成 contentType: "application/json;charset=UTF-8"
   
7573行 var inspectData = s.contentType === "application/x-www-form-urlencoded" &&` 
  改成 var inspectData = s.contentType === "application/json;charset=UTF-8" &&
  
  
vi /usr/src/app/_site/app.js
4328行 this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";
将localhost修改为对应es服务器的IP地址,例如192.168.3.126
  1. 退出并重启容器

    ctrl + p + q
    
    docker restart 容器id
    
  2. web访问

    http://192.168.3.126:9100/
    
    http://192.168.3.127:9100/
    
    http://192.168.3.128:9100/
    

6. 安装kibana插件

  1. ifconfig查看docker网卡IP,例如:172.17.0.1

    ifconfig
    
  2. 拉取镜像

    docker pull kibana:7.17.4
    
  3. 启动容器

    docker run -d -p 5601:5601 -e ELASTICSEARCH_HOSTS=http://172.17.0.1:9200 --name kibana --restart=always kibana:7.17.4
    
  4. web访问

    http://192.168.3.126:5601
    
    http://192.168.3.127:5601
    
    http://192.168.3.128:5601
    
Copyright © 2010-2022 dgrt.cn 版权所有 |关于我们| 联系方式