搜索引擎蜘蛛是什么？【常见的搜索引擎蜘蛛介绍】

搜索引擎蜘蛛

搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。

蜘蛛访问网站时，会先访问网站的robots.txt文件。当robots.txt文件不允许搜索引擎的蜘蛛抓取某些文件或页面时，蜘蛛将不会抓取这些页面的内容及网址。

常见的蜘蛛有以下几种类型：

1、Baiduspider+（+http://www.baidu.com/search/spider.html）百度蜘蛛名称及咨询地址

网页搜索 Baiduspider

竞价蜘蛛Baiduspider-sfkr

图片搜索 Baiduspider-image

无线搜索 Baiduspider-mobile

移动搜索 baidu+Transcoder

新闻搜索 Baiduspider-news

百度联盟Baiduspider-cpro

视频搜索 Baiduspider-video

百度搜藏 Baiduspider-favo

2、Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07)搜狗蜘蛛名称及咨询地址

3、Mozilla/5.0(compatible;YodaoBot/1.0;http://www.yodao.com/help/webmaster/spider;)有道蜘蛛名称及咨询地址

总结：

站长可以在网站日志文件中看到搜索引擎蜘蛛的爬行时间，对自己网站的综合分析会有帮助。