• 十四大茶产区进京“煮春茶”,茶博会周五开幕 2019-07-10
  • 智能就诊玩不溜 老人盼开“慢行道” 2019-07-03
  • 交通运输部路网中心:端午假期高速通行不免费 2019-06-25
  • 香港举行龙舟竞渡大赛庆祝端午节 2019-06-09
  • 端午节小长假 南昌两站共发送旅客59万人 2019-06-09
  • 西藏拉萨两年4.38万人脱贫 2019-06-08
  • 广西贵港原常务副市长黄志光被开除党籍和公职 2019-06-07
  • 邢台:迎端午祥龙起舞祈吉祥 2019-06-06
  • 农村土地“三权分置”改革:要点与展望 2019-06-06
  • 立下扶贫志 情洒大别山 2019-06-05
  • 围挡施工一年多 据说完工尚无期(图) 2019-06-04
  • 中华龙舟大赛福州站收官 黑马异军突起摘大满贯 2019-06-03
  • 超新星在国家队又成大腿 新疆要重用他 有潜力去NBA 2019-06-03
  • 图说互联网(21期)iPhone的10年 下一个10年属于谁? 2019-06-02
  • 江西省上半年GDP同比增长9% 2019-06-02
  • 当前位置: 2013-14法甲 > 新闻动态 > 常见问题 > 内容

    2013-14法甲 www.gxyaw.tw 巧用robots避免蜘蛛黑洞

    发布时间:2014-10-17 13:43:07    来源:百度站长学院    作者:贝斯特网络    浏览量:   

    对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。

    比如很多网站都有筛选功能,通过筛选功能产生的网页经?;岜凰阉饕娲罅孔ト?,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?

    我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:

    对于普通的筛选结果页,该网站选择使用静态链接,如://bj.XXXXX.com/category/zizhucan/weigongcun

    同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
    //bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

    对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。

    robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。

    本站关键词:黑洞 蜘蛛
    延展阅读
    Copyright ? 2013 - 2014 南阳贝斯特|南阳网站建设|南阳网站优化|南阳网络公司|南阳网站设计|南阳网站托管 All Rights Reserved.  豫ICP备140002738号-2 

    在线客服

    • 我们竭诚为您服务!
    • 我们竭诚为您服务!
    • 我们竭诚为您服务!
    • 电话:136 9371 6131

    售后服务

  • 十四大茶产区进京“煮春茶”,茶博会周五开幕 2019-07-10
  • 智能就诊玩不溜 老人盼开“慢行道” 2019-07-03
  • 交通运输部路网中心:端午假期高速通行不免费 2019-06-25
  • 香港举行龙舟竞渡大赛庆祝端午节 2019-06-09
  • 端午节小长假 南昌两站共发送旅客59万人 2019-06-09
  • 西藏拉萨两年4.38万人脱贫 2019-06-08
  • 广西贵港原常务副市长黄志光被开除党籍和公职 2019-06-07
  • 邢台:迎端午祥龙起舞祈吉祥 2019-06-06
  • 农村土地“三权分置”改革:要点与展望 2019-06-06
  • 立下扶贫志 情洒大别山 2019-06-05
  • 围挡施工一年多 据说完工尚无期(图) 2019-06-04
  • 中华龙舟大赛福州站收官 黑马异军突起摘大满贯 2019-06-03
  • 超新星在国家队又成大腿 新疆要重用他 有潜力去NBA 2019-06-03
  • 图说互联网(21期)iPhone的10年 下一个10年属于谁? 2019-06-02
  • 江西省上半年GDP同比增长9% 2019-06-02
  • 东方6+1开奖时间 堡垒之夜手机版中文版下载 神秘的诱惑官网 猴子先生 拜仁慕尼黑vs皇家马德里 热血传奇sf 舍伍德的罗宾闯关 内蒙古快三走势图表 波尔多足球俱乐部 济南特产