百度站长平台使用教程:robots检测

我们之前的文章已经给大家分享过robots文件的作用和写法(企业网站建设提高收录的方法:编写合理的robots文件),通过robots.txt文件,我们可以直接告诉百度蜘蛛哪些页面可以被抓取,哪些页面不能被抓取。不过有时候可能由于某些疏忽,我们的robots.txt文件可能会存在一些错误,这就有可能导致网站内容不能被正常抓取。所以今天我们继续给大家分享百度站长平台使用教程,使用平台自带工具检测robots文件。

Robots

robots检测

robots检测

登陆百度站长平台,依次点开“数据统计”-“Robots”。该工具的使用非常简单,直接占“检测并更新”就可以显示当前网站的robots.txt文件是否正确。同时我们还可以输入网站链接去测试它是否允许百度蜘蛛抓取。

robots检测

不过,最近一段时间,百度站长平台可能在进行维护调整,最近几天该工具都不能正常使用,会出现如上图这样的提示,大家可以过一段时间再来看看,或者使用其它类似的工具来代替。

总结

大多数搜索引擎蜘蛛都会遵循robots协议,即你告诉它能抓取哪些内容它就抓取哪些,所以我们一定要注意robots文件是否写正确,错误的写法会直接影响网站的收录排名。在网站上线之前大家一定要用该工具检测一下,如果目前暂时用不了,大家也可以使用第三方平台的robots检测工具(https://tools.aizhan.com/robots/)。