Sidekiq在工人完成后没有释放内存

我有大约六个执行JSON爬行的 Sidekiq工作者 。 根据端点的数据集大小，它们在1分钟到4小时之间完成。 特别是，观看长4小时，我看到随着时间的推移内存略有增加。

这不是问题，直到我想再次安排相同的工作人员工作。 内存没有被释放并堆叠，直到我遇到Linux OOM Killer，摆脱了我的Sidekiq进程。

内存泄漏 ？ 我在ObjectSpace中观察了不同对象的数量：

ObjectSpace.each_object.inject(Hash.new(0)) { |count, o| count[o.class] += 1 } 

那里没有真正的增加，哈希，数组等的集合保持不变，垃圾收集器和gc.stat[:count]告诉我，垃圾收集器也正在工作。

即使在工作人员完成之后，例如我得到[完成]记录并且没有工人正忙着，内存也不会被释放。 这是什么原因？ 我可以对此做点什么吗？ 写一个终结者？

目前唯一的解决方案 ：重启Sidekiq进程。

我在Ruby 2.0.0上使用Ruby MRI。

---

对于JSON解析，我使用Yajl ，因此是C绑定。 我需要它，因为它似乎是唯一能够正确实现流式读写的快速JSON解析器。

Answer 1

撰写Sidekiq的Mike Perham在此发表了讲话： http ： //www.mikeperham.com/2009/05/25/memory-hungry-ruby-daemons/

tl; dr版本： MRI不会回放内存，你可以做的最多就是控制堆，为此，建议使用Ruby Enterprise Edition 。

不知道这有什么帮助，但就是这种情况 – 直接来自马的嘴巴。