扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
苏州网站优化｜爬行抓取之蜘蛛
2020-02-02 栏目：seo优化教程 查看()
所谓的爬行和抓取，是搜索引擎工作的第一步。搜索引擎要向用户提供信息，自己的数据库里面就必须有庞大的数据量。所以，在网络上搜寻有一定质量的内容放入自己数据库是很重要的事情。
搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider）。
robots协议：
蜘蛛访问网站页面时，类似用户访问。不同的是，蜘蛛在访问一个网站的时候，都会先访问网站根目录下的robots.txt文件。这个文件是网站和搜索引擎的一个协议，蜘蛛会遵守协议，不抓取被禁止的网址。
各搜索引擎蜘蛛：
从访问日志当中，可以看到各搜索引擎的蜘蛛命名方式不一样：
Baiduspider百度蜘蛛
360spider 360蜘蛛
熟悉各家蜘蛛的名称，对后期优化中，分析爬行日志有很大作用。
郑重申明：祥云平台招商以外的任何单位或个人，不得使用该案例作为工作成功展示！