从品牌网站建设到网络营销策划,从策略到执行的一站式服务
如果网站一些页面不想被搜索引擎抓取和收录,我们会用到robots文件,里面设置搜索引擎的抓取规则。这种情况常用于新网站上线并处于测试阶段或者网站页面新增。
专注于为中小企业提供成都做网站、成都网站制作、成都外贸网站建设服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业上林免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了1000+企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。
有些人可能会有疑问,搜索引擎蜘蛛爬行url页面,页面需要有内容呈现出来反馈给到蜘蛛,才有可能会被收录。那么,robots屏蔽搜索引擎后,为什么还是被收录?
先来说说robots协议到底是在做什么?既然是协议,那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎(或者说搜索引擎蜘蛛)之间的协议。robots文件会放在根目录下,蜘蛛进入网站会第一时间访问这个文件,然后看看协议里面有没有禁止了那些页面不能抓取,如果禁止了就不会再去抓取。
个页面想要去搜索引擎索引(收录),收录要有蜘蛛爬行和抓取,既然不抓取,理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的,不抓取也是可以被索引(收录)。如淘宝就是一个典型的案例,网站添加了禁止协议,最后还是被收录。原因在于,百度从其它渠道平台推荐的外部链接了解到这个网站,虽然被禁止抓取,但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。
好了,关于robots的知识分享就和大家说到这里。可能有些人还有疑问,比如说:robots既然不能够阻止页面被收录,有没有办法禁止索引(收录)呢?肯定是有的。至于如何禁止,使用操作方法如何看下百度关于robots文件的讲解:https://ziyuan.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图