Elasticsearch日志文件体积巨大的性能下降(Elasticsearch log file

我使用RoR的开发应用程序和宝石叫searchkick，这种宝石内部使用elasticsearch。 一切工作正常，但在生产中，我们面临着一个奇怪的问题，那一段时间后，该网站会下降。 我们发现，原因是在服务器上的内存被使用过度。 我们删除了前一周的某些elasticsearch日志文件，发现该内存使用从92％降低到47％。 我们使用冷轧记录，并每天记录的日志进行备份。 现在，我们正在面对的，只有1前一天的日志文件中的问题，内存越长越高。 日志文件占用了大量的空间，即使是目前一个需要4GB !!!! 如何避免呢？

这些消息几乎是警告级别。

[00:14:11,744][WARN ][cluster.action.shard ] [Abdul Alhazred] [?][0] sending failed shard for [?][0], node[V52W2IH5R3SwhZ0mTFjodg], [P], s[INITIALIZING], indexUUID [4fhSWoV8RbGLj5jo8PVoxQ], reason [Failed to start shard, message [IndexShardGatewayRecoveryException[[?][0] failed recovery]; nested: EngineCreationFailureException[[?][0] failed to create engine]; nested: LockReleaseFailedException[Cannot forcefully unlock a NativeFSLock which is held by another indexer component: /usr/lib64/elasticsearch-1.1.0/data/elasticsearch/nodes/0/indices/?/0/index/write.lock]; ]]

纵观一些做题 ，我想增加的ulimit或创建一个新的节点，因此该问题也解决了和尺寸减小。 我limits.conf中有65535软硬NOFILE。 此外，在sysctl.conf的fs.file-MAX更多的100000有没有办法，我可以采取减少文件大小的任何其它步骤，而且我不能够获得洞察elasticsearch配置的变化。

如果有人可以帮助。 谢谢

Answer 1:

我建议升级到至少1.2.4，因为在Lucene的报道一些文件锁定的问题： http://issues.apache.org/jira/browse/LUCENE-5612 ， http://issues.apache.org/jira /浏览/ LUCENE-5544 。

Answer 2:

是ElasticSearch和Lucene都是资源密集型。 我做了以下整顿我的系统：

1. 停止ElasticSearch。 如果您患有类似（BIN / elasticsearch）命令启动，然后请这个特定设置堆，同时启动。 对于恩，我使用的是16GB的盒子，所以我的命令

一种。 斌/ elasticsearch -Xmx8g -Xms8g

湾 转到配置（elasticsearch /配置/ elasticsearch.yml），并确保

bootstrap.mlockall：真

C。 增加ulimits -Hn和ulimits -Sn更超过20万

2. 如果作为服务启动，然后执行以下操作

一种。 出口ES_HEAP_SIZE =10克

湾 转到配置（/etc/elasticsearch/elasticsearch.yml），并确保

bootstrap.mlockall：真

C。 增加ulimits -Hn和ulimits -Sn更超过20万

请确保您输入的大小不是堆的50％以上，无论你开始把它作为服务或命令行

文章来源: Elasticsearch log file huge size performance degradation