2016-09-23

robots.txtはアップロード後すぐに反映されない

はじめに

検索エンジンのクロール最適化に利用される「robots.txt」ですが、WordPressなどのCMSを利用する場合はSEO関連のプラグインが自動的にこれを生成してくれますが、CMSを利用しない場合は自分で用意する必要があります。このrobots.txtのアップロードの際、ちょっとした注意点があります。

アップロードする際の注意点

それは、robots.txtをアップロードしても、すぐには反映されないという事です。私も先日robots.txtを初めてアップロードしてみたのですが、googleウェブマスターツールのrobots.txtテスターを開くとテキストが無いというエラーが出て、認識されていない状態でした。

仕方がないのでその日は放置し、次の日にもう一度確認してみると、テスターで今度は正常に認識されていました。前日の夕方にアップロードして、翌日の昼頃には認識されていました。

さいごに

どのブログでもrobots.txtの反映までの期間について触れていなかったのでメモしておきます。恐らくはクロールされた時点でrobots.txtがサーバーにあれば反映されるのだとは思いますが。同じような方がいたら、アップロード後に反映されていなくても、しばらく放置しておきましょう。



コメントする(※は必須項目です)













画像認証