• 家装行业猫腻:“低价全包”变身“加价全包” 2019-09-05
  • 原保监会主席项俊波妻子及两个秘书亦被查 与妻子结婚离婚又复婚 2019-09-05
  • 吃菜集中一、两天吃对身体并不好起码不容易消化。 2019-08-20
  • 尧都农商银行全力推进服务“三农”工作 2019-08-20
  • 长春将实现轻轨、地铁站内一票换乘 2019-08-06
  • 杭州约谈58同城等3家网上房源发布平台负责人 2019-08-02
  • 探索“共享经济+旅游”模式创新 爱彼迎推动可持续旅游发展--旅游频道 2019-08-02
  • 十四大茶产区进京“煮春茶”,茶博会周五开幕 2019-07-10
  • 智能就诊玩不溜 老人盼开“慢行道” 2019-07-03
  • 交通运输部路网中心:端午假期高速通行不免费 2019-06-25
  • 香港举行龙舟竞渡大赛庆祝端午节 2019-06-09
  • 端午节小长假 南昌两站共发送旅客59万人 2019-06-09
  • 西藏拉萨两年4.38万人脱贫 2019-06-08
  • 广西贵港原常务副市长黄志光被开除党籍和公职 2019-06-07
  • 邢台:迎端午祥龙起舞祈吉祥 2019-06-06
  • 当前位置: 2013-14法甲 > 新闻动态 > 常见问题 > 内容

    2013-14法甲 www.gxyaw.tw 巧用robots避免蜘蛛黑洞

    发布时间:2014-10-17 13:43:07    来源:百度站长学院    作者:贝斯特网络    浏览量:   

    对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。

    比如很多网站都有筛选功能,通过筛选功能产生的网页经?;岜凰阉饕娲罅孔ト?,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?

    我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:

    对于普通的筛选结果页,该网站选择使用静态链接,如://bj.XXXXX.com/category/zizhucan/weigongcun

    同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
    //bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

    对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。

    robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。

    本站关键词:黑洞 蜘蛛
    延展阅读
    Copyright ? 2013 - 2014 南阳贝斯特|南阳网站建设|南阳网站优化|南阳网络公司|南阳网站设计|南阳网站托管 All Rights Reserved.  豫ICP备140002738号-2 

    在线客服

    • 我们竭诚为您服务!
    • 我们竭诚为您服务!
    • 我们竭诚为您服务!
    • 电话:136 9371 6131

    售后服务

  • 家装行业猫腻:“低价全包”变身“加价全包” 2019-09-05
  • 原保监会主席项俊波妻子及两个秘书亦被查 与妻子结婚离婚又复婚 2019-09-05
  • 吃菜集中一、两天吃对身体并不好起码不容易消化。 2019-08-20
  • 尧都农商银行全力推进服务“三农”工作 2019-08-20
  • 长春将实现轻轨、地铁站内一票换乘 2019-08-06
  • 杭州约谈58同城等3家网上房源发布平台负责人 2019-08-02
  • 探索“共享经济+旅游”模式创新 爱彼迎推动可持续旅游发展--旅游频道 2019-08-02
  • 十四大茶产区进京“煮春茶”,茶博会周五开幕 2019-07-10
  • 智能就诊玩不溜 老人盼开“慢行道” 2019-07-03
  • 交通运输部路网中心:端午假期高速通行不免费 2019-06-25
  • 香港举行龙舟竞渡大赛庆祝端午节 2019-06-09
  • 端午节小长假 南昌两站共发送旅客59万人 2019-06-09
  • 西藏拉萨两年4.38万人脱贫 2019-06-08
  • 广西贵港原常务副市长黄志光被开除党籍和公职 2019-06-07
  • 邢台:迎端午祥龙起舞祈吉祥 2019-06-06
  • 极速飞艇开奖结果官网 快乐十分计划网页 时时彩最快开奖 买13458和02679技巧 超级大乐透走势分析图 吉林时时计划 青海快三怎么预测 加拿大28害人全过程 重庆老时时彩彩走势图 炸金花235能管什么