用語集
ロボットテキスト【ろぼっとてきすと】
ロボットテキスト=robots.txt
検索エンジンなどが情報を収集するために使用するロボットの制御するために用意されたファイルのこと。つまり、検索エンジンにキャッシュされたくない、というときに使うのがロボットテキストと呼ばれるもの
サイトの一部または全部のデータ収集を拒否する等の設定ができる。
会員専用ページや自分専用に作っているページなどは検索エンジンにキャッシュされると困るため、このようなページをキャッシュさせないために使う。
