是否有可能爬ASP.NET页面？(Is it possible crawl ASP.NET page

有没有办法抓取使用doPostBack作为事件调用一些ASP.NET页？

例：

Page1.aspx的：

包含1个LinkBut​​ton的一个重定向到Page2.aspx

代码隐藏LinkBut​​ton的Click事件：

 Response.Redirect("Page2.aspx")

在客户端上单击事件产生这样的代码：

doPostBack(...

是否有可能抓取网页只使用HttpWebRequest的？

我知道，使用Response.Redirect是不是在这种情况下，一个好主意，但我没有选择。

Answer 1:

是的，这是可能的，如果代码遵循一个很好预测的模式。 你将不得不从页面收集表单数据和模拟什么doPostBack功能无法（在一些隐藏字段把一些值），并发送一个POST请求到服务器。 你获得了将是一个重定向页面，所以你必须解析，以获得目标页面的URL。

如果你的意思是，如果像谷歌搜索引擎抓取的网页，那么这是非常不可能的。 他们可能会尝试遵循发布和脚本链接的一些常见的模式，但通常你需要使用的页面之间正确的链接，以确保他们是抓取。

文章来源: Is it possible crawl ASP.NET pages?