百度ロボットをブロックする方法
通常新設した中国語ウェブサイトには百度のロボットに早く来ていただきたいところですが、逆に、中国語と無関係のサイトや種々の理由でAnti SEOを実施したいサイトとしては、マナーの悪いと言われている百度ロボットをブロックする必要も出てきます。以下簡単に方法をご紹介します。
通常robots.txtファイルを設定することで特定のロボットをブロックすることができますが、現地でテストした結果、百度は下記のルールを守らないと思われます。つまりrobots.txtを設定しても百度ロボットを完全にブロックすることは難しいです。
User-agent: Baiduspider
Disallow: /
.htaccessが使えるサーバーでしたら、以下の設定をすると完全に百度ロボットの巡回を止めることができます。
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* – [F]
