Elasticsearch配置优化

前言

Elasticsearch具有良好的默认值，只需要很少的配置。

默认情况下，Elasticsearch的大部分配置都可以使用Cluster Update Settings API 在正在运行的群集上更改大多数设置。

Elasticsearch有三个配置文件：

elasticsearch.yml 用于配置Elasticsearch
jvm.options 用于配置Elasticsearch JVM设置
log4j2.properties 用于配置Elasticsearch日志记录

Important Elasticsearch configuration

下面是一些重要参数。

Path settings

在生产使用中，建议更改数据和日志文件夹的位置：

  path:
      logs: /var/log/elasticsearch
      data: /var/data/elasticsearch

例如：

  $ mkdir -pv /data/backup/elasticsearch_backup
  $ mkdir -pv /data/elasticsearch/{elasticsearch_data,elasticsearch_logs}

  $ chown elasticsearch:elasticsearch /data/backup/elasticsearch_backup
  $ chown -R elasticsearch:elasticsearch /data/elasticsearch

Cluster name

只有cluster.name相同的节点才能与群集中的所有其他节点一样，才能加入群集。默认名称是elasticsearch，但你应将其更改为适当的名称，该名称描述了群集的用途。
```
  cluster.name: logging-prod
```
确保不要在不同的环境中重用相同的群集名称，否则最终可能会导致节点加入错误的群集。
Node name

默认情况下，Elasticsearch将使用随机生成的UUID的前七个字符作为节点id。请注意节点ID是持久的，并且在节点重新启动时不会更改，因此默认节点名称也不会更改。

但是我们应该配置一个更有意义的名称：
```
  node.name:prod-data-2
```
Network host

默认情况下，Elasticsearch仅绑定到环回地址 - 例如127.0.0.1 和[::1]。这足以在服务器上运行单个开发节点。

为了与其他服务器上的节点进行通信并形成集群，您的节点将需要绑定到非环回地址。
```
  network.host: 192.168.1.10
```
只要您提供自定义设置network.host，Elasticsearch就会假定您从开发模式转为生产模式，并将许多系统启动检查从警告升级到异常。有关详细信息，请参阅开发模式与生产模式。
Discovery settings

Elasticsearch使用名为“Zen Discovery”的自定义发现实现进行节点到节点的群集和主选举。在投入生产之前，应该配置两个重要的发现设置。
- discovery.zen.ping.unicast.hosts
  
  开箱即用，没有任何网络配置，Elasticsearch将绑定到可用的环回地址，并将扫描端口9300到9305以尝试连接到在同一服务器上运行的其他节点。这提供了自动群集体验，无需进行任何配置。
  
  当需要在其他服务器上形成具有节点的群集时，您必须提供群集中可能是实时且可联系的其他节点的种子列表。这可以指定如下：
```
  discovery.zen.ping.unicast.hosts：
  -  192.168.1.10:9300
  -  192.168.1.11
  -  seeds.mydomain.com
```
- discovery.zen.minimum_master_nodes
  
  为防止数据丢失，必须配置 discovery.zen.minimum_master_nodes，以便每个符合主节点的节点都知道必须达到最大主节点数，才能形成集群。
  
  如果没有此设置，遭受网络故障的群集可能会将群集拆分为两个独立的群集 - 分裂的大脑 - 这将导致数据丢失。在通过minimum_master_nodes编辑避免裂脑的过程中提供了更详细的解释。
  
  为避免分裂大脑，应将此设置设置为符合条件的主节点的法定数量：
```
  (master_eligible_nodes / 2) + 1
```
  换句话说，如果有三个符合主节点的节点，则应将最小主节点设置为(3 / 2) + 1或2：
```
  discovery.zen.minimum_master_nodes: 2
```
Heap size

默认情况下，Elasticsearch建议JVM应该使用的最小和最大内存大小为1GB。迁移到生产环境时，应该修改heap大小以确保Elasticsearch有足够的heap可用是很重要的。

Elasticsearch将通过jvm.options中文件中的 Xms （minimum heap size）和Xmx （maximum heap size）设置来指定的整个 heap 。这些设置的值取决于服务器上可用的RAM量。

建议是：
- 将最小heap大小（Xms）和最大heap大小（Xmx）设置为彼此相等。 Elasticsearch可用的heap越多，它可用于缓存的内存就越多。但请注意，过多的heap可能会使您陷入长时间的垃圾收集暂停。设置Xmx为不超过物理RAM的50％，以确保有足够的物理RAM留给内核文件系统缓存。
- 不要设置Xmx为JVM用于压缩对象指针（压缩oops）的截止值以上; 确切的截止值变化但接近32 GB。您可以通过查找日志中的行来验证您是否在限制之下，如下所示：
```
  heap size [1.9gb], compressed ordinary object pointers [true]
```
- 更好的是，尽量保持低于zero-based compressed oops的阈值; 确切的截止值有所不同，但大多数系统上26 GB是安全的，但在某些系统上可能高达30 GB。你可以通过使用JVM选项启动-XX:+UnlockDiagnosticVMOptions -XX:+PrintCompressedOopsMode并查找如下所示的行来验证您是否在限制之下：
```
  heap address: 0x000000011be00000, size: 27648 MB, zero based Compressed Oops
```
  显示启用zero-based compressed oops, 而不是
```
  heap address: 0x0000000118400000, size: 28672 MB, Compressed Oops with base: 0x00000001183ff000
```
  以下是如何通过jvm.options文件设置heap 大小的示例：
```
  -Xms2g
  -Xmx2g
```
  也可以通过环境变量设置heap大小。这可以通过注释掉来jvm.options文件中的Xms和Xmx设置，并通过设置ES_JAVA_OPTS：
```
  ES_JAVA_OPTS="-Xms2g -Xmx2g" ./bin/elasticsearch
  ES_JAVA_OPTS="-Xms4000m -Xmx4000m" ./bin/elasticsearch
```
heap dump path
GC logging

默认情况下，Elasticsearch启用GC日志。这些配置在 jvm.options默认位置和默认位置与Elasticsearch日志相同。默认配置每64 MB轮换一次日志，最多可占用2 GB的磁盘空间。

Important System Configuration

理想情况下，Elasticsearch应该在服务器上单独运行并使用它可用的所有资源。

默认情况下，Elasticsearch假定你正在开发模式下工作。如果未正确配置下述任何设置，则会向日志文件写入警告，但是你仍然可以启动并运行Elasticsearch节点。

Disable swapping
- Configure swappiness
  
  Linux系统上可用的确保将sysctl值 vm.swappiness设置为1。这降低了内核交换的倾向，在正常情况下不应导致交换，同时仍允许整个系统在紧急情况下交换。
```
  $ sysctl -p | grep vm.swappines
  $ sysctl -w  vm.swappiness=1
  $ vim /etc/sysctl.conf
```
- Enable bootstrap.memory_lock
  
  另一种选择是在Linux/Unix系统上使用mlockall，或在Windows上使用 VirtualLock，以尝试将进程地址空间锁定到RAM中，从而防止任何Elasticsearch内存被换出。这可以通过将此行添加到config/elasticsearch.yml文件来完成：
```
  bootstrap.memory_lock: true
```
Increase file descriptors

Elasticsearch需要使用大量文件描述符或文件句柄。因为用完文件描述符可能会导致灾难性的结果，最有可能的就是导致数据丢失。

确保将运行Elasticsearch的用户的打开文件描述符数量限制增加到65536或更高。
```
  $ ulimit -n 65536
```
并且修改/etc/security/limits.conf。
```
  $ vim /etc/security/limits.conf
  # allow user 'elasticsearch' mlockall
  elasticsearch soft memlock unlimited
  elasticsearch hard memlock unlimited
```
注意: 如果是CentoS7等这种使用了systemctl的系统那么应该修改/etc/systemd/system.conf`
```
  $ vim /etc/systemd/system.conf
  # allow user 'elasticsearch' mlockall
  elasticsearch soft memlock unlimited
  elasticsearch hard memlock unlimited
```
然后修改下面几项:
```
  $ vim /etc/systemd/system/elasticsearch.service.d/override.conf
  [Service]
  DefaultLimitNOFILE=65536
  DefaultLimitNPROC=32000
  LimitMEMLOCK=infinity
```
之后继续操作:
```
  $ systemctl daemon-reload
  $ systemctl enable elasticsearch.service
  $ systemctl start elasticsearch.service
  $ systemctl status elasticsearch.service
```
注意:

limits.conf这里的配置，只适用于通过PAM认证登录用户的资源限制，它对systemd的service的资源限制不生效。登录用户的限制，通过 /etc/security/limits.conf 来配置
对于systemd service的资源限制，现在被放在 /etc/systemd/system.conf 和 /etc/systemd/user.conf这两个文件里面了。
其中最主要的就是修改/etc/systemd/system.conf(全局)和/etc/systemd/system/elasticsearch.service.d/override.conf(需要自己创建)这个文件
Ensure sufficient virtual memory

Elasticsearch mmapfs默认使用目录来存储其索引。mmap计数的默认操作系统限制可能太低，这可能导致内存不足异常。

在Linux上，您可以通过运行以下命令来增加限制：
```
  $ sysctl -w vm.max_map_count=262144
```
要永久设置此值，请更新vm.max_map_count设置到 /etc/sysctl.conf。(RPM和Debian软件包将自动配置此设置。无需进一步配置。)
Ensure sufficient threads

Elasticsearch为不同类型的操作使用了许多线程池。重要的是它能够在需要时创建新线程。确保Elasticsearch用户可以创建的线程数至少为4096(Elasticsearch)。
```
  $ ulimit -u 4096
  $ vim /etc/security/limits.d/90-nproc.conf
  *          soft    nproc     4096
```
JVM DNS cache settings

一旦配置了类似的网络设置network.host，Elasticsearch就会假定您正在转向生产并将上述警告升级为异常。这些异常将阻止您的Elasticsearch节点启动。这是一项重要的安全措施，可确保您不会因服务器配置错误而丢失数据。开发模式与生产模式编辑

参考链接

Configuring Elasticsearch

Important Elasticsearch configuration

Important System Configuration

https://www.elastic.co/guide/en/elasticsearch/reference/6.1/setting-system-settings.html#systemd

https://www.elastic.co/guide/en/elasticsearch/reference/5.6/setting-system-settings.html

https://segmentfault.com/a/1190000014891856

https://www.elastic.co/guide/en/elasticsearch/reference/current/setting-system-settings.html