Tag: web crawler

从Ruby到Python：Crawlers

在过去的几天里我开始学习python。 我想知道在python中编写爬虫的等效方法。 所以在ruby中我使用： nokogiri用于抓取HTML并通过css标签获取内容 Net::HTTP和Net::HTTP::Get.new(uri.request_uri).body用于从URL获取JSON数据 什么是python中的这些等价物？

如何忽略Web爬网程序中的文件类型？

我正在编写一个Web爬虫，并希望忽略链接到二进制文件的URL： $exclude = %w(flv swf png jpg gif asx zip rar tar 7z gz jar js css dtd xsd ico raw mp3 mp4 wav wmv ape aac ac3 wma aiff mpg mpeg avi mov ogg mkv mka asx asf mp2 m1v m3u f4v pdf doc xls ppt pps bin exe rss xml) 如何针对其中一个结尾检查URI？ @url = […]

如何使用Ruby获取缩短URL的目标URL？

如何获取此URL http://t.co/yjgxz5Y并获取目标urlhttp://nickstraffictricks.com/4856_how-to-rank-1-in-google/

ruby中的网络爬虫

您在Ruby中编写Web爬虫的建议是什么？ 任何lib比机械化更好？

什么是一些优秀的基于Ruby的Web爬虫？

我正在寻找自己的写作，但我想知道是否有任何用Ruby编写的好的网络爬虫。 如果没有一个完整的网络爬虫，任何可能有助于构建网络爬虫的gem都会很有用。 我知道这个问题的一部分在几个地方都有提及，但适用于构建网络爬虫的gem列表也是一个很好的资源。