【WordPressマニュアル】
ここでは、robots.txtについて、ご説明致します。

“robots.txt”とは、検索エンジンにアクセスしクロールして
ほしい部分と、そうでない部分を伝えるためのファイルです

以下のような記事ページなど特定のページをクロールできなくするようにできます。

    • 機密事項
    • デリケートな内容なので慎重に扱うべきもの
    • 見られたくないコンテンツ

 

利用するときは、慎重に設定しましょう。

設定をあやまると検索エンジンから正確にクロールされなくなります。
まずは取り扱う情報の整理をしましょう。

 

Googleウエブマスターツールで設定可能です

Googleウエブマスターツールを使って、robots.txtのクロール設定や制御ができます。
基本は利用しないことがベストですが、設定する場合には慎重に設定してください。

 

The following two tabs change content below.
「form作成プラグイン」 自動返信機能あり、メールが問題なく届きます ダウンロードはWordPress公式サイトから⇒https://wordpress.org/plugins/recopat/