该scrapy DOC说:
Scrapy带有一个内置的服务,被称为“Scrapyd”,它允许您部署(亦称上传)项目和使用JSON网络服务控制自己的蜘蛛。
有没有在comformance使用scrapyd一定的优势?
该scrapy DOC说:
Scrapy带有一个内置的服务,被称为“Scrapyd”,它允许您部署(亦称上传)项目和使用JSON网络服务控制自己的蜘蛛。
有没有在comformance使用scrapyd一定的优势?
Scrapyd允许你在不同的机器比你通过一个方便的网络API,这意味着你可以使用使用一个运行scrapy curl
,甚至网络浏览器来上传新的项目版本并运行它们。 否则,如果你想在云中运行Scrapy的地方,你将不得不scp
复制新蜘蛛的代码,然后用登录ssh
和产卵你scrapy crawl myspider
。
如果你想同时运行多少蜘蛛Scrapyd还将为您管理流程; 但如果你有你的本地计算机上Scrapy和访问命令行或运行蜘蛛的方式,只是想一次运行一个蜘蛛,那么你最好还是手动运行蜘蛛。
如果您正在开发蜘蛛那么肯定你不想使用scrapyd
快速编译/测试迭代,因为它只是增加了一层复杂性。