Elasticsearch日志文件巨大的性能降级
我正在使用RoR开发一个名为searchkick的应用程序和一个gem，这个gem在内部使用elasticsearch。 一切正常，但在制作过程中，我们遇到了一个奇怪的问题，一段时间后网站出现故障。 我们发现的原因是服务器上的内存被过度使用了。 我们删除了前一周的一些elasticsearch日志文件，发现内存使用率从92％减少到47％。 我们使用滚动日志记录，每天备份日志。 现在，我们面临的问题是，前一天只有1个日志文件，内存越来越高。 日志文件占用了大量空间，即使是当前的文件需要4GB！ 我怎么能防止这种情况？
消息几乎是警告级别。
[00:14:11,744][WARN ][cluster.action.shard ] [Abdul Alhazred] [?][0] sending failed shard for [?][0], node[V52W2IH5R3SwhZ0mTFjodg], [P], s[INITIALIZING], indexUUID [4fhSWoV8RbGLj5jo8PVoxQ], reason [Failed to start shard, message [IndexShardGatewayRecoveryException[[?][0] failed recovery]; nested: EngineCreationFailureException[[?][0] failed to create engine]; nested: LockReleaseFailedException[Cannot forcefully unlock a NativeFSLock which is held by another indexer component: /usr/lib64/elasticsearch-1.1.0/data/elasticsearch/nodes/0/indices/?/0/index/write.lock]; ]]
看一些SO问题 ，我试图增加ulimit或创建一个新节点，这样问题也解决了，大小也减少了。 我的limits.conf对于硬和软nofile有65535。 同样在sysctl.conf中，fs.file-max超过100000.我是否还有其他步骤可以减少文件大小，而且我无法深入了解elasticsearch配置更改。
如果有人可以帮忙。 谢谢
我建议升级到至少1.2.4，因为Lucene报告了一些文件锁定问题： http ： //issues.apache.org/jira/browse/LUCENE-5612,http ： //issues.apache.org/jira / browse / LUCENE-5544 。
是ElasticSearch和Lucene都是资源密集型的。 我做了以下来纠正我的系统：
- 停止ElasticSearch。 如果从像（bin / elasticsearch）这样的命令开始，那么请具体说明在启动时设置堆。 对于前者，我使用16GB的盒子，所以我的命令是
一个。 bin / elasticsearch -Xmx8g -Xms8g
湾 转到config（elasticsearch / config / elasticsearch.yml）并确保
bootstrap.mlockall：true
C。 将ulimits -Hn和ulimits -Sn增加到200000以上
- 如果您作为服务启动，请执行以下操作
一个。 导出ES_HEAP_SIZE = 10g
湾 转到config（/etc/elasticsearch/elasticsearch.yml）并确保
bootstrap.mlockall：true
C。 将ulimits -Hn和ulimits -Sn增加到200000以上
无论是作为服务还是从命令行启动，请确保输入的大小不超过堆的50％