什么是Robots：指自动抓取网页内容的机器人Robots，是搜索引擎用来访问Internet上网页的自动程序，Robots根据html的语法和格式，对读取的页面进行代码过滤，收入相关的文字内容。目前搜索引擎无法象人那样去读相应的图片、Flash、影片里面的内容。图片中的文字对Spider来说毫无意义，所以图片中要尽量加入Alt-代替属性，对于javascript里面的内容，现在已经有部分网站开始收录。
SEO中常说的这个探测器(Robot)是什么？
搜索引擎用来抓取网页的工具。它是一个软件或者说一系列自动程序(显然，不是一部机器)。
关于Robot，需要关心的主要是Robots.txt，以及网站日志中包含的以上几个名字。
这里列出世界各大搜索引擎蜘蛛名字,方便大家查看网站日志时查找:
google蜘蛛：googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler/
inktomi蜘蛛：slurp
