• 业务
    网站建设. 仿站设计. 小程序开发. SEO优化
  • QQ
    1134763862
  • 电话
    18200592859

企业网站建设提高收录的方法:编写合理的robots文件

企业网站建设好后,想要被收录,那就需要让搜索引擎蜘蛛来抓取,一般最理想的情况是可以不设限制,让蜘蛛抓取网站的全部内容。但是每个网站都有不希望展示出来的东西,比如用户数据、登陆信息等等,这个我们一般是要禁止蜘蛛抓取的,所以我们既要对蜘蛛放行,又要做出一定的限制。想要达到这个效果,那就需要使用到robots.txt文件,下面悦然网络工作室就给大家介绍一下robots.txt文件的规则写法。

搜索引擎蜘蛛

一、不设限制,让蜘蛛自由抓取

如果你的网站没有需要隐藏的内容,那就可以不对蜘蛛做限制,这种情况下可以直接删除robots.txt,也可以在robots.txt文件中填写如下内容:

User-agent: *
Allow: /

二、限制部分内容

大多数情况我们是不可能让蜘蛛无限制的抓取的,这样会严重泄露网站的隐私,对安全不利。所以我们需要对某些目标做限制,一般情况下限制的内容有网站后台、用户数据等,这个会根据网站的类型,网站程序,写法会有一些不同,以wordpress制作的网站为例,一般情况下可以这样写robots.txt文件:

User-agent: *
Disallow: /wp-admin/
Sitemap: https://www.zsxxfx.com/sitemap.xml

其实有很多网站之所以不被收录,与robots.txt文件设置错误是有很大关系的,比如有人网站可能是直接制作的别人的robots.txt文件,如果别人是错的,那你的也是错的,比如下面这样:

User-agent: *
Disallow: /

这样的写法是告诉搜索引擎蜘蛛禁止抓取网站的所有内容,这样网站自然就很难被收录了。

三、编写robots.txt

如果你robots.txt的写法比较了解,直接按你的需要编写就好了,如果你不会也没关系,你可以直接参考一下同行的写法,直接在浏览器输入同行的网址加下robots.txt回车就可以看到了,然后可以根据需要复制下来,保存到记事本,然后文件名robots.txt,再上传到网站根目录即可。

如果不确定同行的是否适合你,也可以使用一些在线robots.txt生成工具,比如这个网址tool.chinaz.com/robots/,按需填写和勾选里面的选择,然后点生成就可以了,最后把把文件复制到记事本,命名为robots.txt,最后上传上网站根目录即可。