robots.txt
「アンコール日記」を書かなく（書けなく）なったので、WEB的なネタをひとつ。
サイト作った時、サーチエンジンのロボット用にrobots.txtをおきますよね。例えば、そのrobots.txtの中身に「Disallow: /abc/def」と書くと、サイト内の「/abc/def」フォルダ内はインデックスされなくなるって感じで。
今週、会社でSEO関連のレポートを提出しなくちゃいけなくて、調べものをしていて見つけたんだけど、このサイトはある特定のコンテンツに関してインデックスされることを極端に嫌がってるみたいです。ここのrobots.txtを見れば一目瞭然。なんかすごい焦臭い。
早く「華氏911」見たいぞー！！
サイト作った時、サーチエンジンのロボット用にrobots.txtをおきますよね。例えば、そのrobots.txtの中身に「Disallow: /abc/def」と書くと、サイト内の「/abc/def」フォルダ内はインデックスされなくなるって感じで。
今週、会社でSEO関連のレポートを提出しなくちゃいけなくて、調べものをしていて見つけたんだけど、このサイトはある特定のコンテンツに関してインデックスされることを極端に嫌がってるみたいです。ここのrobots.txtを見れば一目瞭然。なんかすごい焦臭い。
早く「華氏911」見たいぞー！！
Comments
つかこんなファイル、アクセスできるとこに置いてるのはあきらかにマズいだろ。
（あれ、でもhtdocs内に置かなきゃ意味ないの？教えて先生！）
Posted by ゆう at June 1, 2004 07:29 PM
robots.txtはサイトのルート階層に置かなきゃ意味ないよ。
たとえば、www.earthnut.net/robots.txtみたいに。ひとつ階層深くてもダメみたい。
でも、そもそもrobots.txtに意味がない気がするけどね。
Posted by Louie at June 3, 2004 12:35 AM