有哪些优势使用scrapyd?(what are the advantages use scrapy

2019-08-31 07:40发布

该scrapy DOC说:

Scrapy带有一个内置的服务,被称为“Scrapyd”,它允许您部署(亦称上传)项目和使用JSON网络服务控制自己的蜘蛛。

有没有在comformance使用scrapyd一定的优势?

Answer 1:

Scrapyd允许你在不同的机器比你通过一个方便的网络API,这意味着你可以使用使用一个运行scrapy curl ,甚至网络浏览器来上传新的项目版本并运行它们。 否则,如果你想在云中运行Scrapy的地方,你将不得不scp复制新蜘蛛的代码,然后用登录ssh和产卵你scrapy crawl myspider

如果你想同时运行多少蜘蛛Scrapyd还将为您管理流程; 但如果你有你的本地计算机上Scrapy和访问命令行或运行蜘蛛的方式,只是想一次运行一个蜘蛛,那么你最好还是手动运行蜘蛛。

如果您正在开发蜘蛛那么肯定你不想使用scrapyd快速编译/测试迭代,因为它只是增加了一层复杂性。



文章来源: what are the advantages use scrapyd?