みんなの豊明ブログ

GoogleやYahoo!でなかなかこの『豊明みんなのブログ』 が検索エンジンが拾ってくれなくて

悩んでおりました。

ブッチャケ回答を先に・・・

当サイトのURLは　http://jpaccess.net/cgi-bin/blog/　です。

/cgi-bin/blog/　の階層に『robots.txt』 を書くだけ(^^;

以上です(^^;

robots.txtは様々な書き方がありますが、

各対策をココに記しておきますね。（他にも書き方はあると思いますよ）

■すべてロボットを巡回させる■
robots.txtには、すべてのディレクトリを巡回し、 ファイルをGETされたい場合は
User-agent: *
Disallow:

■Googleだけ拒否■
Googleのロボット（Googlebot）だけ、 すべてのディレクトリ巡回やファイルGETを拒否する場合は、
User-agent: Googlebot
Disallow: /*

■Yahoo!だけ拒否■
Yahoo!のロボット（Yahoo! Slurp）だけ、 すべてのディレクトリ巡回やファイルGETを拒否する場合は、
User-agent: Slurp
Disallow: /*

■すべてのロボットを拒否■
すべてのロボットを拒否する場合は、
User-agent: *
Disallow: /*