ロボット型検索エンジンにサイトのページをインデックスさせない
Googleなどの、プログラムをクロールさせて情報を自動収集するタイプの検索エンジンに、サイトの情報を収集させない手立てをまとめます。
大体はrobots.txtというファイルをルートに置いて、ヒットさせないようにする手段が標準化されているようです。
Googleなどの、プログラムをクロールさせて情報を自動収集するタイプの検索エンジンに、サイトの情報を収集させない手立てをまとめます。
大体はrobots.txtというファイルをルートに置いて、ヒットさせないようにする手段が標準化されているようです。