Easy PHP Blackhole Trap with WHOIS Lookup for Bad Bots • Perishable Press

One of my favorite security measures here at Perishable Press is the site’s virtual Blackhole trap for bad bots. The concept is simple: include a hidden link to a robots.txt-forbidden directory somewhere on your pages. Bots that ignore or disobey your robots rules will crawl the link and fall into the trap, which then performs a WHOIS Lookup and records the event in the blackhole data file. Once added to the blacklist data file, bad bots immediately are denied access to your site. I call it the “one-strike” rule: bots have one chance to follow the robots.txt protocol, check the site’s robots.txt file, and obey its directives. Failure to comply results in immediate banishment. The best part is that the Blackhole only affects bad bots: normal users never see the hidden link, and good bots obey the robots rules in the first place.

via Easy PHP Blackhole Trap with WHOIS Lookup for Bad Bots • Perishable Press.

へぇーということで、さきほど MD に実装してあります。/blackhole/ というディレクトリにアクセスすると、二度とこのサイトは見られません。

ていうか、サイトのコンテンツを ScrapBook のようなツールで無差別に引っ張り上げても、引っかかるのですなぁ。でも、コンテンツを吸い上げたら、もう来ないだろうから、遮断しても別にいいや（笑）。

これとよく似た、トラップを使うものとして、スパマーのメールアドレス回収ボットを釣りあげる Project Honey Pot というのもあって、これは別のサイトに仕込んでいたことがあります。