ELK，Stack，7.1.1之集群搭建，办公软件自学难度大吗

ELK Stack 是一个由 Elasticsearch、Logstash 和 Kibana 三个开源项目组成的日志管理解决方案。它可以帮助企业或组织更好地收集、存储、分析和可视化日志数据，从而实现快速定位和解决问题、监控业务状况、提高运维效率等目标。本文将介绍 ELK Stack 7.1.1 版本的集群搭建方法。

一、ELK Stack 7.1.1 基本组件

1. Elasticsearch：分布式搜索引擎，用于实时存储、检索和分析大量结构化和非结构化数据。

2. Logstash：日志收集和处理工具，支持多种输入、输出和过滤器插件，可实现对各种源数据的采集、处理和转发。

3. Kibana：可视化分析平台，提供友好的界面和丰富的数据可视化工具，帮助用户进行数据的查询、分析和展示。

二、ELK Stack 7.1.1 集群架构

ELK Stack 7.1.1 集群由多个节点组成，其中 Elasticsearch 和 Logstash 节点可部署多实例，Kibana 节点一般为单实例。常见的集群架构包括：

1. 单节点单实例：适用于小规模部署，所有组件都运行在一台服务器上。

2. 单节点多实例：适用于中小规模部署，将 Elasticsearch 和 Logstash 部署为多实例，可提高节点的吞吐和容错能力。

3. 分布式多节点：适用于大规模部署，将 Elasticsearch 集群和 Logstash 集群分别部署在多个节点上，可以实现负载均衡和高可用性。

三、ELK Stack 7.1.1 集群搭建步骤

本文以分布式多节点架构为例，介绍 ELK Stack 7.1.1 集群搭建步骤。假设我们有 3 台服务器：server1、server2、server3，它们的 IP 分别为 192.168.0.1、192.168.0.2、192.168.0.3。以下步骤针对 CentOS 7.x 系统，请根据实际情况进行调整。

1. 安装 JDK

Elasticsearch 和 Logstash 都需要 Java 运行环境，因此需要先安装 JDK。可以使用以下命令安装 OpenJDK 11：

```bash

sudo yum install java-11-openjdk-devel

```

2. 安装 Elasticsearch

安装 Elasticsearch 的方法有多种，这里介绍官方提供的 RPM 安装方式。将以下命令复制到终端中执行：

```bash

sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

sudo vi /etc/yum.repos.d/elasticsearch.repo

```

编辑 /etc/yum.repos.d/elasticsearch.repo 文件，添加以下内容：

```config

[elasticsearch-7.x]

name=Elasticsearch repository for 7.x packages

baseurl=https://artifacts.elastic.co/packages/7.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

```

保存并退出 vi，运行以下命令安装 Elasticsearch：

```bash

sudo yum install elasticsearch

```

安装完成后，编辑 /etc/elasticsearch/elasticsearch.yml 文件，修改以下配置项（节点名称随意填写）：

```yaml

cluster.name: my-elasticsearch-cluster

node.name: server1

network.host: 192.168.0.1

discovery.seed_hosts: ["192.168.0.2", "192.168.0.3"]

```

保存并退出 vi，运行以下命令启动 Elasticsearch：

```bash

sudo systemctl start elasticsearch

```

3. 安装 Logstash

下载并安装 Logstash，使用以下命令：

```bash

sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

sudo vi /etc/yum.repos.d/logstash.repo

```

编辑 /etc/yum.repos.d/logstash.repo 文件，添加以下内容：

```config

[logstash-7.x]

name=Elastic repository for 7.x packages

baseurl=https://artifacts.elastic.co/packages/7.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

```

保存并退出 vi，运行以下命令安装 Logstash：

```bash

sudo yum install logstash

```

安装完成后，编辑 /etc/logstash/logstash.yml 文件，修改以下配置项（节点名称随意填写）：

```yaml

http.host: "192.168.0.1"

path.data: /var/lib/logstash

pipeline.batch.delay: 50

pipeline.workers: 2

pipeline.batch.size: 125

http.max_initial_line_length: 8192

http.max_header_size: 32768

```

保存并退出 vi，运行以下命令启动 Logstash：

```bash

sudo systemctl start logstash

```

4. 安装 Kibana

下载并安装 Kibana，使用以下命令：

```bash

sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

sudo vi /etc/yum.repos.d/kibana.repo

```

编辑 /etc/yum.repos.d/kibana.repo 文件，添加以下内容：

```config

[kibana-7.x]

name=Kibana repository for 7.x packages

baseurl=https://artifacts.elastic.co/packages/7.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

```

保存并退出 vi，运行以下命令安装 Kibana：

```bash

sudo yum install kibana

```

安装完成后，编辑 /etc/kibana/kibana.yml 文件，修改以下配置项：

```yaml

server.port: 5601

server.host: "192.168.0.1"

elasticsearch.hosts: ["http://192.168.0.1:9200", "http://192.168.0.2:9200", "http://192.168.0.3:9200"]

```

保存并退出 vi，运行以下命令启动 Kibana：

```bash

sudo systemctl start kibana

```

5. 集群测试

打开浏览器，访问 http://192.168.0.1:5601，进入 Kibana 界面。在左侧菜单中选择 Management > Index Patterns，设置一个索引模式（例如 logstash-*），并指定一个时间字段。在左侧菜单中选择 Discover，可以看到收集到的日志数据，表示集群搭建成功。

四、ELK Stack 7.1.1 集群优化

1. 集群规划：根据实际业务需求和数据量大小，合理规划节点数量和规格。

2. 索引优化：创建合适的索引、剔除无用字段、将多个小文档合并为大文档等。

3. 分片和副本：根据集群大小、性能和可靠性要求设置分片和副本数量，并优化分片分布。

4. 内存和磁盘：为 Elasticsearch 和 Logstash 安排合适的内存和磁盘大小，避免过度占用资源。

5. 日志清理：定期清理过期和无用的日志数据，释放存储空间。

6. 安全设置：根据实际情况配置防火墙、认证和授权策略，确保集群安全可靠。

ELK Stack 掌握难度较大，需要一定的计算机基础和运维经验，但经过系统学习和实践，可以充分发挥其强大的功能和价值，提高业务运维效率和数据分析能力。