ヘッドレスブラウザ(phantomJS, slimerJS )でWEBサイトをスクレイピングする

ヘッドレスブラウザ

● phantomJS

WebKit(Safari) ベースのヘッドレス(画面なし)ブラウザ

・phantomJSのインストール方法(Mac)

brew install phantomjs

・phantomJSのインストール方法(CentOS7)

yum -y install freetype
yum -y install fontconfig
npm install -g phantomjs

● slimerJS

Gecko(firefox) ベースのヘッドレス(画面なし)ブラウザ

・slimerJSのインストール方法(Mac)

brew install slimerjs

・slimerJSのインストール方法(CentOS7)

npm install -g slimerjs

● casperJS

ヘッドレスブラウザを簡単に扱うライブラリ(JavaScript)です。 このcasperJSから「phantomJS」または「slimerJS」を操作します。

・casperJSのインストール方法(Mac)

brew install casperjs

・casperJSのインストール方法(CentOS7)

yum -y install freetype
yum -y install fontconfig
npm install -g casperjs

● casperJSからブラウザを操作して画面のスクリーンショットを撮る

```
var AnchorArrays = [];
var casper = require('casper').create();
casper.start('http://flatsystems.net/kakunin.php', function() {
});
casper.then(function() {
    this.capture('kakunin.png');
});
casper.run();
```

###● casperJSからphantomJSで起動する
```
casperjs  test.js
```

###● casperJSからslimerJSで起動する
```
casperjs  --engine=slimerjs test.js
```
slimerJSで起動するときは ```--engine=slimerjs``` を追加します。


###● casperJSコードを実際のブラウザソースから生成する Chrome拡張機能
#####・Resurrectio
https://chrome.google.com/webstore/detail/resurrectio/kicncbplfjgjlliddogifpohdhkbjogm

関連エントリー

No.1067
12/17 23:31

edit

スクレイピング
xpath
slimerjs
phantomjs