企业网站建设的小细节:robots文件
robots文件设置也是一个企业网站建设的小细节,值得我们注意。悦然网络工作室在之前的文章中其实已经讲过相关的问题。 如果你的企业网站是由公司内部技术人员制作的,那么你一定要要求技术人员核查一下,看看有没有设置,或者有没有设置正确。 如果你的企业网站建设是由建站公司完成的,其实robots.txt文件应该是由网站建设公司帮你设置好的,但实际上有很多建站公司都不会帮你设置,比如上图这个网站,robots.txt文件直接是空的!这样对网站其实也是不利的,虽然这样不会限制百度等搜索引擎蜘蛛的抓取,但这样蜘蛛可能会什么内容都抓取,甚至包括网站内的隐私文件,这样很容易引发安全问题。还有很多建站平台的网站…