解析HTML无限滚动(Parse HTML Infinite Scroll)

我试图解析与无限滚动页面的HTML。 我要加载的所有内容，这样我可以解析这一切。 我使用Python。 任何提示？

Answer 1:

这些网页更新其AJAX的HTML。 通常你只需要找到新的AJAX请求通过浏览器从API发送，猜AJAX网址参数的含义和提取数据。

API服务器可以验证用户代理，引荐，饼干，组oauth_token ... AJAX请求的，照看他们。

Answer 2:

该数据是

1. 无论是装在事先

2. 或页面将在滚动的请求

您可以使用的是HttpFox发现请求，并将其发送

文章来源: Parse HTML Infinite Scroll