我目前的工作,我从许多不同的网站凑信息的应用程序。 要获取深层链接的网站上的我靠的是提供(例如,“论坛”)网站地图所需的主题。 由于我扩大我碰到一些网站,不提供网站地图本身,所以我想知道是否有任何方式从顶级域名中的Rails产生的呢?
我使用的引入nokogiri和机械化检索数据,所以如果有可能帮助解决这一任务会更容易集成任何功能。
我目前的工作,我从许多不同的网站凑信息的应用程序。 要获取深层链接的网站上的我靠的是提供(例如,“论坛”)网站地图所需的主题。 由于我扩大我碰到一些网站,不提供网站地图本身,所以我想知道是否有任何方式从顶级域名中的Rails产生的呢?
我使用的引入nokogiri和机械化检索数据,所以如果有可能帮助解决这一任务会更容易集成任何功能。
这可以用做SPIDR宝石 ,像这样:
url_map = Hash.new { |hash,key| hash[key] = [] }
Spidr.site('http://intranet.com/') do |spider|
spider.every_link do |origin,dest|
url_map[dest] << origin
end
end