今天在新浪博客发了篇博客,秒收,郁闷了很久的新浪博客,终于又争气的恢复了。
从9月1日开始,百度又可以抓取新浪博客的内容了。一下是最新bobots.txt文件,看看和以前的有没有什么变化。
#####################################################
# SINA BLOG 禁止搜索引擎收录配置文件
# 文件:
# 编写:
# 日期:
#####################################################
#限制的搜索引擎的User-Agent代码,*表示所有###########
User-agent: *
#限制不能搜索的目录,Disallow: 为空时开放所有目录####
Disallow: /admin/
Disallow: /blog_tmpl/
Disallow: /config/
Disallow: /css/
Disallow: /images/
Disallow: /include/
Disallow: /js/
#开放搜索的目录有####################################
# /
# /advice/
# /help/
# /lm/
# /main/
# /myblog/
# /mycontrl/
#搜索引擎User-Agent代码对照表########################
# 搜索引擎
# AltaVista
# Infoseek
# Hotbot
# AOL Search
# Excite
# Google
# Goto
# Lycos
# MSN
# Netscape
# NorthernLight
# WebCrawler
# Iwon
# Fast
# DirectHit
# Yahoo Web Pages
# Looksmart Web Pages
# Baiduspider

