模拟浏览器和刮 - 解决方案[关闭]模拟浏览器和刮 - 解决方案[关闭](Headless Brow

我试图把对浏览器自动测试套装和能刮的无头的浏览器平台可能的解决方案列表。

---

浏览器测试/刮：

• 硒 -在浏览器自动化，绑定Python和Ruby，JavaScript中，C＃，Haskell和更多，IDE的Firefox（作为扩展），更快的测试部署通晓多国语言的旗舰。 可以充当服务器，具有功能吨。

JAVASCRIPT

• PhantomJS - JavaScript的 ，与屏幕捕获和自动化无头测试，使用的Webkit。 随着1.8版本的硒的webdriver的API实现的，所以你可以使用任何webdriver的约束力和测试将与硒兼容
• SlimerJS -类似PhantomJS，采用的Gecko（Firefox）的替代的WebKit
• CasperJS - JavaScript的 ，建立在两个PhantomJS和SlimerJS，具有额外的功能
• 幽灵驱动程序 - JavaScript实现的webdriver的Wire协议为PhantomJS。
• 新 PhantomCSS - CSS回归测试。 甲CasperJS模块用于自动化与PhantomJS和视觉回归测试Resemble.js 。
• 新 WebdriverCSS -插件为Webdriver.io自动化视觉回归测试
• 新 PhantomFlow -描述和可视化用户流过测试。 实验方法的Web用户界面测试。
• 新 trifleJS -端口PhantomJS API来使用Internet Explorer引擎。
• 新 CasperJS IDE （商用）

Node.js的

• 节点幻象 -桥梁PhantomJS和node.js的差距
• WebDriverJs -硒的webdriver绑定node.js的硒团队
• WD.js -为的webdriver /硒2节点模块
• yiewd - WD.js包装采用最新和谐发电机！ 摆脱与产量回调金字塔
• ZombieJs -用速度飞快，无头全栈测试的node.js
• NightwatchJs -使用Selenium节点的webdriver基于JS测试解决方案
• 奇美 -奇美拉：可以做一切什么phantomJS的做法，但在一个完整的JS环境
• Dalek.js -通过硒的webdriver自动使用JavaScript跨浏览器测试
• Webdriver.io -更好地执行绑定的webdriver与预定义50+行动
• 梦魇 -电子桥的高级API。
• jsdom -对定制网页抓取。 在Node.js的实现的非常轻量级的DOM，它支持使用JavaScript的网页。

网页抓取/采矿

• Scrapy - Python的 ，主要是刮刀/矿工-快速，有据可查的，并可以与链接Django的动态刮了很好的挖掘部署，或Scrapy云的PaaS的（无服务器）的部署，工作在终端或服务器单机理线，可与芹菜一起使用，建立在扭曲的顶部
• Snailer - Node.js的模块，未经检验的呢。
• 节点履带 - Node.js的模块，未经检验的呢。

在线工具

• 新的 在线HTTP客户端 -这样的回答专用
• 死 CasperBox -运行CasperJS脚本在线

---

相关链接和资源

• Webscraping软件能比较
• 新 Resemble.js ：图像分析与比较

问题：

• 任何纯Node.js的解决方案或者对的NodeJS PhanthomJS / CasperJS模块的实际工作，并记录在案？

答：奇美拉，似乎朝那个方向走，结账奇美拉

• 能够更容易JavaScript注入比硒的其他解决方案？

• 你知道任何纯Ruby的解决方案？

答：Checkout进行RJK基于Ruby的解决方案创建的列表

• 你知道任何有关技术或解决方案？

随意编辑这个问题，并根据需要添加内容！ 感谢您的贡献！

Answer 1:

如果Ruby是你的事，你也可以试试：

• https://github.com/chriskite/anemone （DEV停止）
• https://github.com/sparklemotion/mechanize
• https://github.com/postmodern/spidr
• https://github.com/stewartmckee/cobweb
• http://watirwebdriver.com/ （硒）

同时，引入nokogiri宝石可用于刮：

• http://nokogiri.org/

有关于如何利用引入nokogiri由年底Packt出版刮专用书

Answer 2:

http://triflejs.org/就像phantomjs但基于IE

Answer 3:

一种基于JS-硒是Dalek.js 。 它的目的不仅是自动化前端的测试，你也可以做截图吧。 它具有所有重要的浏览器webdrivers。 不幸的是那些webdrivers似乎是值得改进（只是不说“越野车”到Firefox）。

文章来源: Headless Browser and scraping - solutions [closed]