用Ruby on Rails的创建从URL动态网站地图(Create dynamic sitemap

2019-10-29 02:00发布

我目前的工作,我从许多不同的网站凑信息的应用程序。 要获取深层链接的网站上的我靠的是提供(例如,“论坛”)网站地图所需的主题。 由于我扩大我碰到一些网站,不提供网站地图本身,所以我想知道是否有任何方式从顶级域名中的Rails产生的呢?

我使用的引入nokogiri和机械化检索数据,所以如果有可能帮助解决这一任务会更容易集成任何功能。

Answer 1:

这可以用做SPIDR宝石 ,像这样:

url_map = Hash.new { |hash,key| hash[key] = [] }

Spidr.site('http://intranet.com/') do |spider|
  spider.every_link do |origin,dest|
    url_map[dest] << origin
  end
end


文章来源: Create dynamic sitemap from URL with Ruby on Rails