Scribble at 2017-01-27 19:16:58 Last modified: 2022-09-15 10:48:19

ウェブ検索の API は Yahoo! JAPAN のように無いとか Bing みたく無料だと３ヶ月でキー更新とかになってて、ほぼ無料の範囲だと使い物にならないから、無料ツールで検索順位とか拾ってくるツールはスクレイピングしてると思う。利用規約違反につき商用で使うものではない。

例の岡崎図書館の一件で、スクレイピングを必要以上に正当な行為だと言い立てた、都内の「有名人」らの発言で多くの人が気にしなくなったろうけど、僕は10年くらい前に書店に並んでいた、Perl でスクレイピングしようなんて本についても、「これはリソース浪費の馬鹿げた行為で牽制や萎縮を呼び込むだけだ」と批判したことがある。個人が長期間にわたって継続的に大量のウェブ・ページをスクレイピングする必要なんてないし、オンラインのリソースは一回限りのデータ収集では終わらないくらい刻々と増えたり変化していくので、人が生きていくために必要な情報を得たいということなら、必要となった都度に検索して調べるのが正しいオンラインリソースへのアプローチだと思う。個人が膨大なソースコードや画像ファイルを引っこ抜いてローカルマシンに溜め込むなんてのは、はっきり言って何かの精神疾患でもないかぎりは全くの勘違いだ。資料としてウェブページを個々に保存するのとはわけが違うんだから。スクレイピングなんてしても、何かの統計をとってるわけでもない限りは、取得したデータの大半は不要なんだから。