我想要刮使用JS创建一个Cookie的网站。 我在想什么是我可以在Python中创建一个cookie,然后使用该cookie来刮的网站。 不过,我不知道这样做的任何方式。 没有任何人有什么想法?
Answer 1:
请参阅Python的httplib2的-处理Cookie在HTTP表单发送添加一个cookie的请求的例子。
我经常需要在自动化的基于Web的应用程序的任务。 我喜欢通过HTTP模拟真实用户的互动,为此在协议层。 Python带有这两个内置模块:urllib的(更高层次的Web界面)和httplib的(下级HTTP接口)。
Answer 2:
如果你想要做更多的参与浏览器仿真(包括设置cookie)看看机械化 。 它的仿真功能几乎完全(不支持JavaScript不幸地):我用它来建立一些刮削器取得很大的成功。
文章来源: Fake a cookie to scrape a site in python