• 一站式互联网服务
  • 二十四小时服务
  • 三层维度客户保障
  • 四A级服务
  • 五百位客户见证
  • 六年经验互联网
  • 七星级服务体系
联系我们

搜索引擎推广

怎么设置robots.txt可以禁止或只允许搜索引擎抓取特定目录

      搜索引擎来网站抓取内容的时候,首先会访问你网站根目录下的一个文本文件robots.txt,搜索引擎机器人通过robots.txt里的说明,来理解该网站是否可以全部抓取,或只允许部分抓取。

注意:网站的robots.txt文件一定要存放在网站的根目录。

robots.txt文件举例说明
  禁止所有搜索引擎访问网站的任何内容
  User-agent: *
  Disallow: /

  禁止所有搜索引擎抓取某些特定目录
  User-agent: *
  Disallow: /目录名1/
  Disallow: /目录名2/
  Disallow: /目录名3/

  允许访问特定目录中的部分url
  User-agent: *
  Allow: /158
  Allow: /joke

  禁止访问网站中所有的动态页面
  User-agent: *
  Disallow: /*?*
  

仅允许百度抓取网页和gif格式图片,不允许抓取其他格式图片
  User-agent: Baiduspider
  Allow: /*.gif$
  Disallow: /*.jpg$
  Disallow: /*.jpeg$
  Disallow: /*.png$
  Disallow: /*.bmp$

  1.屏蔽404页面
  Disallow: /404.html

  2.屏蔽死链
  原来在目录为/158下的所有链接,因为目录地址的改变,现在都变成死链接了,那么我们可以用robots.txt把他屏蔽掉。
  Disallow: /158/

  3.屏蔽动态的相似页面
  假设以下这两个链接,内容其实差不多。
  /XXX?123
  /123.html
  我们要屏掉/XXX?123 页面,代码如下:
  Disallow: /XXX?

  4.告诉搜索引擎你的sitemap.xml地址
  具体代码如下:
  Sitemap: 你的sitemap地址

谷歌或百度官方提供的robots.txt使用指南学习:
百度:http://www.baidu.com/search/robots.html
谷歌:http://www.google.com/support/forum/p/webmasters/thread?tid=4dbbe5f3cd2f6a13&hl=zh-CN 

 

飞通互联(feitong28.com)专注于中小企业的网络建设及营销,为中小企业量身打造专属于自己的网络营销平台,让您的网站不再是平面的展示,让您的业务真正拓展到网络平台。
纯技术SEO方法
效果稳定广泛
适用于多种引擎
保证实际效果 详情 >
抵御攻击,数据安全
多重备份,随时恢复
客服电话24小时联络
更多全面服务 详情 >
量身定做,杜绝翻版
针对中小企业特点
简洁,实用,高效
价格透明合理 详情 >
LOGO,VI设计
网站美工服务
美工,平面设计
保证原创作品 详情 >
客户服务方案
综合网络推广
广告投放计划
用订单看效果 详情 >
最大化免费推广
合理的竞价关键词
小企业专属方案
综合引擎效果 详情 >
网站首页 | 关于我们 | 业务范围 | 诚聘英才 | 技术支持 | 网站推广 | 站长服务 | 全国分站 | 网站地图
景安网络

CopyRight 2006---2009  飞通互联 版权所有

 
京ICP证060955号 Powered by feitong28.com