如翼视点
首页>如翼视点>文章内容
robots和sitemap百度提交才有用,各种实测
发表时间:2019-08-04

robots和sitemap文件,前者的作用是减少百度蜘蛛在站内的无谓爬取,后者增加百度蜘蛛在站内的有效爬取,对百度收录和自己网站的SEO推广都十分重要。

1.robots只有一个:robot.txt,这是一个文本文件,主要利用Allow(允许)和DisAllow(禁止)两个命令,(这两个重要的是禁止),禁止百度蜘蛛爬取一些无谓的文件和文件夹,增加百度搜录速度。具体原理和写法网上去搜,制作简单。这里重点不是讲这个。

2.sitemap有三个:sitemap.txt,sitemap.xml,sitemap.html,制作sitemap网站地图的方式在这里:网站地图制作原理作用等也请在网上找,制作简单,不过别忘了把生成的三个文件改名成sitemap。这里不做重点讲了。可以把sitemap文件写到robots里面,连写三个都可以:

sitemap: http://www.XXX.com/sitemap.html

sitemap: http://www.XXX.com/sitemap.xml

sitemap: http://www.XXX.com/sitemap.txt



现在重点说说怎么起作用的实测。

1.这几四个文件制作好之后,都上传到服务器根目录下。然后等啊等啊,经过实测很遗憾,等了多久都发现不起作用。于是又找相关文章,原来要给百度提交。无法,硬着头皮一步步学着在百度站长工具提交。

2.先打开这个网站:点我打开(如果打开有问题多刷新两次)有百度号的先登录,没有的注册,不消多说。然后点导航的:网站支持>链接提交,不过进去后“提交sitemap和robots”开始是不能用的,必须先根据百度站长的引导,先百度认证自己网站。这一步有些麻烦,下载一个html放到根目录下认证,你的网站如果做过伪静态处理,有些是识别不了真静态的html了,要程序员处理。

3.认证网站后左侧菜单功能就可以用了,点Robots,“检测并更新”即可让你服务器下面的robots起作用了(要等很多天)。

4.再点左侧菜单“链接提交”,选右侧“sitemap”,输入网址:www.你的域名.com/sitemap.xml,回车,www.你的域名.com/sitemap.txt,提交,这两个文件就到了下面列表里,状态是“等待”。 如下图:


只是这个等待状态就要了命,百度站长工具这个sitemap功能有问题,有时候要碰大运,我就是运气不好那个:

一直是等待状态,赶紧上网查,很多人说遇到同样问题,等两天就好了。于是放心了,就老老实实等待,10天过去还是等待,百度收录完全没大的变化。于是删除了原来这两个sitemap,重新上传,居然第二天就起作用了!看到等待变成绿色的勾勾,状态由等待变成了正常。兴奋无比。

重要部分来了!千万拿出小笔记本把下面的记好:

过两天一查收录,真的起作用了,以前没收录的一些老文章被重新收录,蹭蹭往上涨。修改了很久内页文章标题百度一直不予更新,但sitemap起作用后一夜之间百度就更新过来了!于是意犹未尽马上重新生成sitemap,然后回到了百度站长工具这里,手一贱,选sitemap>全选后点“手动更新文件”,结果正常状态又变回了等待,几天了一直不变,也不知道已经提取的这些url作废没有……心里拔凉拔凉的。如下图:

其实sitemap的作用是增加老文章的抓取,所以上传一次可以不用在百度站长工具更新了。因为新内容的收录一般不会出问题。告诫看到的网友:一旦生效,最好不要再更新sitemap文件了! 实在不行,删掉重新再这里再上传一次才可以。

至于robots真的起作用,时间很长但突然有一天一查百度收录,(百度输入site:你的域名),发现不需要的收录在robots的作用下真的全部消失了!


robots和sitemap的实测全部是这些,希望看到的人有帮助。每个人的经历不同,我只说我测的是这个情况,不代表所有。



相关文章:该结合seo思维做网站了


如翼设计原创,转贴请注明:如翼设计,更多内容请点击:如翼视点  

如翼设计设计能力:点击查看 

了解如翼设计服务内容:如翼设计做些什么