これはクローラー／スクレイピング Advent Calendar 2014の18日目の記事です。 Webサイトをクローリング、スクレイピングしたいと思ったとき、はじめに何をするでしょうか？ 私はとりあえずブラウザの開発者ツールでDOMを覗きますが、その後robots.txtや利用…