用語集
ロボット【ろぼっと】
検索エンジンが検索データベースを作成するために、自動的に巡回するWebページ情報収集プログラムのことです。またスパイダーとも呼ばれている。ロボットが巡回されないページは、検索エンジンで表示されることはない。
検索ロボットはデータベースの内容を充実させたり点検したりするプログラムで、まだデータベースに収録されていないWebページや、更新されたWebページを発見しては内容を回収し、結果をデータベースに反映させている。
検索ロボットによってはテキストファイルやPDFファイル、ExcelやWordなどで作成した文書ファイルも回収していくため、適切なアクセス権の設定等を怠ると企業の機密文書なども検索可能になってしまう場合もある。検索ロボットに回収されたくないファイルを指定する手段として、HTMLファイル内に検索を拒否するメタタグ(METAタグ)を記述したり、Webサーバの公開ディレクトリ最上層にロボットの挙動を指定するファイルを配置するという手法がある。しかし、検索ロボットによってはこのような指定を無視してファイルを回収していくことがあるため、機密性の高いファイルはアクセス権を制限するなどの手段で守る必要がある。
