爬虫中获取页面的问题

2019-01-03 01:23发布

爬取的页面中url有一个参数page=1。代表第一页,page=2代表第二页,但是访问第一页正常,访问第二页就获取不到页面了,这种问题怎么解决,可能出现的原因在哪。已知确实是通过url中参数的变化获取下一页的

标签:
3条回答
对你真心纯属浪费
2楼-- · 2019-01-03 02:06

可能是你的cookie有问题.确认一下网页每一页的cookie是不是一样.

查看更多
你好瞎i
3楼-- · 2019-01-03 02:11

注意拼接你的url,打印一下看看对不对,看看打印后的url手动访问以下看看能进去不

查看更多
淡お忘
4楼-- · 2019-01-03 02:12

网站的反爬措施较好,得连续访问两次才可以,第一次返回空

查看更多
登录 后发表回答