网络信息杂谈

新浪博客最新robot文件,取消对百度的屏蔽

今天在新浪博客发了篇博客,秒收,郁闷了很久的新浪博客,终于又争气的恢复了。

 

从9月1日开始,百度又可以抓取新浪博客的内容了。一下是最新bobots.txt文件,看看和以前的有没有什么变化。


#####################################################
# SINA BLOG 禁止搜索引擎收录配置文件
# 文件:  ~/robots.txt
# 编写:  阿狼
# 日期:  2005-03-24
#####################################################
#限制的搜索引擎的User-Agent代码,*表示所有###########
User-agent: *
#限制不能搜索的目录,Disallow: 为空时开放所有目录####
Disallow: /admin/
Disallow: /blog_tmpl/
Disallow: /config/
Disallow: /css/
Disallow: /images/
Disallow: /include/
Disallow: /js/
#开放搜索的目录有####################################
# /
# /advice/
# /help/
# /lm/
# /main/
# /myblog/
# /mycontrl/
#搜索引擎User-Agent代码对照表########################
# 搜索引擎    User-Agent代码
# AltaVista    Scooter
# Infoseek    Infoseek
# Hotbot     Slurp
# AOL Search    Slurp
# Excite     ArchitextSpider
# Google     Googlebot
# Goto     Slurp
# Lycos     Lycos
# MSN      MSNBOT
# Netscape    Googlebot
# NorthernLight   Gulliver
# WebCrawler    ArchitextSpider
# Iwon     Slurp
# Fast     Fast
# DirectHit    Grabber
# Yahoo Web Pages   Googlebot
# Looksmart Web Pages  Slurp
# Baiduspider    Ba

FK网络推广论坛

Publish Comment发表评论

点击刷新验证码 点击图片可刷新验证码

Comment网友评论

Contact Us 联系我们 More...

免费咨询QQ:233079908

技术主管QQ:654368912

商务合作QQ:3035587

 

我们竭诚为您服务


免费咨询:233079908 技术主管:654368912 商务合作:3035587

版权所有,未经授权禁止转载、摘编、复制或建立镜像 如有违反 追究法律责任

Copyright © 2008-2011 by FK网络工作室 All right reserved