robotstxt Disallow

1.A.禁止所有搜索引擎访问网站的任何部分：User-agent:*Disallow:/2.B.允许所有的robot访问User-agent:*Disallow:或者也可以建一个空文件"/robots.txt"file3.C.禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private目录）Us

1.A.禁止所有搜索引擎访问网站的任何部分：User-agent:*Disallow:/2.B.允许所有的robot访问User-agent:*Disallow:或者也可以建一个空文件"/robots.txt"file3.C.禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private目录）User-agent:*Disallow:/cgi-bin/Disallow:/tmp/Disallow:/private/4.D.禁止某个搜索引擎的访问（下例中的Baiduspider）User-agent:BaiduspiderDisallow:/5.E.只允许某个搜索引擎的访问（下例中的Baiduspider）User-agent:BaiduspiderDisallow:User-agent:*Disallow:/6.F.允许访问特定目录中的部分urlUser-agent:*Allow:/cgi-bin/seeAllow:/tmp/hiAllow:/~joe/lookDisallow:/cgi-bin/Disallow:/tmp/Disallow:/~joe/7.G.使用"*"限制访问urlser-agent:*Disallow:/cgi-bin/*.htm禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

8.H.使用"$"限制访问urlUser-agent:*Allow:.htm$Disallow:/仅允许访问以".htm"为后缀的URL。

9.I.禁止访问网站中所有的动态页面User-agent:*Disallow:/*?*10.J.禁止Baiduspider抓取网站上所有图片User-agent:BaiduspiderDisallow:.jpg$Disallow:.jpeg$Disallow:.gif$Disallow:.png$Disallow:.bmp$仅允许抓取网页，禁止抓取任何图片。

11.K.仅允许Baiduspider抓取网页和.gif格式图片User-agent:BaiduspiderAllow:.gif$Disallow:.jpg$Disallow:.jpeg$Disallow:.png$Disallow:.bmp$