robots.txt

「アンコール日記」を書かなく（書けなく）なったので、WEB的なネタをひとつ。
サイト作った時、サーチエンジンのロボット用にrobots.txtをおきますよね。例えば、そのrobots.txtの中身に「Disallow: /abc/def」と書くと、サイト内の「/abc/def」フォルダ内はインデックスされなくなるって感じで。
今週、会社でSEO関連のレポートを提出しなくちゃいけなくて、調べものをしていて見つけたんだけど、このサイトはある特定のコンテンツに関してインデックスされることを極端に嫌がってるみたいです。ここのrobots.txtを見れば一目瞭然。なんかすごい焦臭い。
早く「華氏911」見たいぞー！！