WordPress第五篇:上传robots.txt文件

WordPress教程 admin 61℃ 0评论

robots.txt基本介绍

robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。

当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

另外,robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

robots.txt写作语法

首先,我们来看一个robots.txt范例:

访问以上具体地址,我们可以看到robots.txt的具体内容如下:

# Robots.txt file from http://www.xa029sem.com
# All robots will spider the domain

Usehttp://www.seovip.cn/r-agent: *
Disallow:

以上文本表达的意思是允许所有的搜索机器人访问www.xa029sem.com站点下的所有文件。



转载请注明:老陈侃谈 » WordPress第五篇:上传robots.txt文件

喜欢 (2)
0 0 vote
Article Rating
Subscribe
提醒
guest
0 评论
Inline Feedbacks
View all comments

0
Would love your thoughts, please comment.x
()
x