Ruby Twitter Gem，超出了速率限制

我正在尝试使用ruby gem Twitter（ https://github.com/sferik/twitter ）从twitter api中获取用户的关注者。

根据文档（ https://dev.twitter.com/docs/api/1/get/followers/ids），twitter在一个请求中返回5000个用户。 根据速率限制设置，twitter允许我每15分钟拨打15个电话（ https://dev.twitter.com/docs/rate-limiting/1.1/limits ）

问题：

当我检索具有超过75000个粉丝（5000 * 15）的用户的关注者时，我收到“超出速率限制”错误。

当我使用gem方法Twitter.followers_id（用户）时，我会自动获得所有关注者，而不是使用游标的5000个桶。 我猜gem在内部处理这个问题，因此我无法控制或延迟这些请求。

在gem文档中有一个速率限制的例子（ https://github.com/sferik/twitter#rate-limiting ），但我不知道是否照顾已经检索过的用户或者从新鲜开始。

我的问题是如何以及何时应用限制机制来获取所有关注者？

问候

Answer 1

这里解释了这个问题的解决方法。

MAX_ATTEMPTS = 3 num_attempts = 0 begin num_attempts += 1 retweets = Twitter.retweeted_by_user("sferik") rescue Twitter::Error::TooManyRequests => error if num_attempts <= MAX_ATTEMPTS # NOTE: Your process could go to sleep for up to 15 minutes but if you # retry any sooner, it will almost certainly fail with the same exception. sleep error.rate_limit.reset_in retry else raise end end 

Answer 2

将sleep命令添加到Twitter gem中的cursor_from_response_with_user方法，该方法位于lib / twitter / api / utils.rb中

https://github.com/sferik/twitter/blob/master/lib/twitter/api/utils.rb

 def cursor_from_response_with_user(collection_name, klass, request_method, path, args, method_name) puts "sleeping 60" sleep 60 arguments = Twitter::API::Arguments.new(args) merge_user!(arguments.options, arguments.pop || screen_name) unless arguments.options[:user_id] || arguments.options[:screen_name] cursor_from_response(collection_name, klass, request_method, path, arguments.options, method_name) end 

每个游标响应至少需要60秒，因此每15分钟不会超过15个请求。 这有点像黑客但它会一直有效，直到这个问题按75K + follower_ids排序。