感谢选择悦然网络工作室,专业帮您提供企业网站建设服务!提前祝大家牛年春节快乐牛气冲天,事业牛,生意更牛!

企业网站建设的小细节:robots文件

robots文件设置也是一个企业网站建设的小细节,值得我们注意。悦然网络工作室在之前的文章中其实已经讲过相关的问题。

企业网站建设的小细节:robots文件

如果你的企业网站是由公司内部技术人员制作的,那么你一定要要求技术人员核查一下,看看有没有设置,或者有没有设置正确。

未设置robots.txt文件

如果你的企业网站建设是由建站公司完成的,其实robots.txt文件应该是由网站建设公司帮你设置好的,但实际上有很多建站公司都不会帮你设置,比如上图这个网站,robots.txt文件直接是空的!这样对网站其实也是不利的,虽然这样不会限制百度等搜索引擎蜘蛛的抓取,但这样蜘蛛可能会什么内容都抓取,甚至包括网站内的隐私文件,这样很容易引发安全问题。还有很多建站平台的网站也存在这个情况。

错误的写法

User-agent: *
Disallow: /

还有一些企业网站虽然有robots.txt文件,但是写法是错误的,如上图所示,这样表示你网站上的所有内容都被禁止抓取了,这样的情况下网站基本不会被收录,或者收录很少。

参考写法

User-agent: *
Disallow: /wp-admin/
Disallow: /404.htm
Sitemap: https://www.zsxxfx.com/sitemap.xml

不同的网站有不同的内容,目录结构可能也存在较大的差别,这个很多时候并不能直接参考网上的写法,如果你的企业网站需要重写robots.txt文件,最好是找当初做网站的人员协助,或者是找其它专业人士。如果你的企业网站建设是由wordpress完成的,那么也可以参考一下上面的写法。

总结

robots.txt文件虽然只是企业网站建设过程中的小细节,但它的影响可能会非常大,一定要重视哦。现在就去检查一下你的robots.txt文件有没有设置正确吧,如果有问题请及时修改。