回 帖 发 新 帖 刷新版面

主题:[原创]网站建设robots.txt的写法

什么是robots.txt

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分。

请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件或者创建一个内容为空的robots.txt文件。

robots.txt 放置位置

robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.abc.com)时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

robots.txt 格式

文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:”:”。在该文件中可以使用#进行注解。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下。

User-agent:

该项的值用于描述搜索引擎robot的名字。在”robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到”robots.txt”的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在”robots.txt”文件中,”User-agent:*”这样的记录只能有一条。如果在”robots.txt”文件中,加入”User- agent:SomeBot”和若干Disallow、Allow行,那么名为”SomeBot”只受到”User-agent:SomeBot”后面的 Disallow和Allow行的限制。 Disallow: 该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问。例如”Disallow: /help”禁止robot访问/help*.html、/help/index.html,而”Disallow: /help/”则允许robot访问/help*.html,不能访问/help/index.html。

"Disallow:"说明允许robot访问该网站的所有url,在”/robots.txt”文件中,至少要有一条Disallow记录。如果”/robots.txt”不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

Allow:

该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。例如”Allow:/hibaidu”允许robot访问/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据第一个匹配成功的 Allow或Disallow行确定是否访问某个URL。

使用”*”和”$”: Baiduspider 支持使用通配符”*”和”$”来模糊匹配url。 “$” 匹配行结束符。 “*” 匹配0或多个任意字符。

robots.txt文件用法举例:

1. 允许所有的robot访问

User-agent: * Allow: / 或者 User-agent: * Disallow:

 

2. 禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /


3. 仅禁止Baiduspider访问您的网站


User-agent: Baiduspider

Disallow: /

 

4. 仅允许Baiduspider访问您的网站

 

User-agent: Baiduspider

Disallow:

 

5. 禁止spider访问特定目录

 

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

 

6. 允许访问特定目录中的部分url

 

User-agent: *

Allow: /cgi-bin/see

Allow: /tmp/hi

Allow: /~joe/look

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

 

7. 使用”*”限制访问url

禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

 

User-agent: *

Disallow: /cgi-bin/*.htm

 

8. 使用”$”限制访问url

仅允许访问以”.htm”为后缀的URL。

 

User-agent: *

Allow: .htm$

Disallow: /

 

例9. 禁止访问网站中所有的动态页面

 

User-agent: *

Disallow: /*?*

 

10. 禁止Baiduspider抓取网站上所有图片

仅允许抓取网页,禁止抓取任何图片。

 

User-agent: Baiduspider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

 

11. 仅允许Baiduspider抓取网页和.gif格式图片

允许抓取网页和gif格式图片,不允许抓取其他格式图片

 

User-agent: Baiduspider

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

 

12. 仅禁止Baiduspider抓取.jpg格式图片

User-agent: Baiduspider

Disallow: .jpg$

 

 

注意:robots.txt是有分大小写的,默认文件名全小写,规则里面要注意区分大小写,比如禁止http://lbicc.com/Abc.html,在规则里写成abc.html的话那就没效果了,只会禁止abc.html,Abc.html还是有效。

 

尊重劳动成果!欢迎转载!转载前请注明胜达网络棋牌制作:http://blog.sina.com.cn/sdmir1

本文出自:胜达网络棋牌制作新浪博客:http://blog.sina.com.cn/sdmir1

棋牌网站 棋牌游戏棋牌源码 http://www.k6qp.com

棋牌演示地址:http://6603.lg038.com

棋牌站长网:http://www.788zz.com/index.php[/size][/size][/size]
0

回复列表 (共5个回复)

沙发


龍城国际都地主是一种扑克游戏,玩法简单,富有很强的对抗性和配合性。该游戏由三个人玩,用一副牌共 54 张牌。地主为一方,其余两家农民为另一方,双方对战,先出完牌的人所代表的一方获胜。 
 
1.发牌 
   一副牌,留三张底牌,其他发给三家,每人手里有17张牌。 
2.叫牌 
   叫牌按出牌顺序轮流开始叫牌,每人只能叫一次,叫牌可叫“1分”、“2分”、“3分”或“不叫”,所叫的分数为“叫牌的底分”,分数叫的高赢的多,输的也多。叫完后叫的最大分的为地主,如果都选择不叫牌,重新发牌,然后重新开始叫牌。叫的最高的一家成为“地主”,三张底牌加到地主手中。 
3.出牌 
   首先将三张底牌交给地主,三张底牌所有人都能看到。由地主开始出牌,然后按逆时针顺序依次出牌,轮到用户跟牌时,用户可按中间的“不出”按钮表示不跟或按“提示”按规则查找然后按“出牌”按钮出牌。直至某一方将牌出完就结束此局。如果地主先出完,则为地主胜;如果任何一个农民先出完,则为农民胜。 
4.游戏术语 
   地主:叫分最高的一方为地主,可获得底牌
   农民:除地主之外的另外两个玩家,两个农民要联手对付地主 
5.游戏规则 
   只能出大于上家的牌,没有则不出,直到一方出完游戏结束。如果地主先出完,则为地主胜;如果任何一个农民先出完,则为农民胜。 
6.牌型说明? 
火箭:即双王 


炸弹:四张大小相同的牌 


单牌(一手牌):单个牌 


对牌(一手牌):两张大小相同的牌 


三张牌:三张大小相同的牌 


三带一手:三张大小相同的牌+一张单牌或一对牌 

单顺:五张或更多的连续单牌(不包括2点和双王,不分花色) 


双顺:三对或更多的连续对牌(不包括2点和双王) 


三顺:二个或更多的连续“三张牌”(不包括2点和双王) 


飞机带翅膀:三顺+同数量的一手牌 

四带二:四张牌+两手牌 



7.牌型比较 
   双王最大;炸弹次之;再次是一般牌型(单牌、对牌、三张牌、三带一手、单顺、双顺、三顺、飞机带翅膀、四带二)
   一般牌型:只有牌型且张数相同的牌才可按牌点数比较大小。
   其中三带一、三带二、飞机带翅膀、四带二组合牌型,比较其相同张数最多的牌点数大小。 
 




1.积分说明 
   底分:叫牌的底分(1、2、3)
   倍数:倍数通常为1,如果出过一次炸弹(或火箭),则倍数翻一倍;出现“春天”也要翻一番
   基数:基数是JJ比赛为每副牌设定的计分基数,在定局积分制中固定为10,在打立出局制中基数随着时间增长。
   地主把牌出完,两家一张都没出,称为“春天”,倍数翻一番
   地主领出第一轮牌后,就被农民接手过去且没有机会出第二轮牌,也是“春天”,倍数翻一番;
   每出一个炸弹或火箭,翻一翻。
   地主胜:
       地主胜分=底分×倍数×基数×2
       农民失分=底分×倍数×基数
   地主败:
      地主失分=底分×倍数×基数×2
       农民胜分=底分×倍数×基数 
2.托管/断线的处理 
  群英龍城国际都地主比赛是举办龍城国际都地主比赛的网站。所以对“托管”和“断线”的处理相当严格。我们视“托管”/“断线”为比赛弃权。不论“托管”或“断线”,所有的出牌都是“不出”,而且如果作为农民托管的话,最后农民一方失败的话,两个农民的失分都由托管者承担;如果农民一方胜利的话,胜分托管方也不能获得
  龍城国际 www.lcqipai.com  龍城棋牌

板凳

龍城国际娱乐诚招棋牌游戏代理 

 |棋牌游戏招收实力代理|网吧代理|在线推广发帖人员|
 |个人代理|地方走代理|各类游戏GM代理合作|
 GM合作网站事宜说明:联系客服
 棋牌(qipai)游戏案例展示1:http://www.lcqipai.com
 棋牌(qipai游戏案例展示2:http://www.xlqipai.com
call(非诚勿扰):
 客服部1:81858843(刘先生)
 客服部2:1002738540(黄小姐)
 TEL:18623536662

3 楼


[em11][em11][em11]





选择千锋 选择卓越 千锋3G 手机软件开发培训第一品牌

[url=http://www.mobiletrain.org/]iOS培训[/url] [url=http://www.mobiletrain.org/]北京iOS培训[/url]

4 楼


[em11][em11]





选择千锋 选择卓越 千锋3G 手机软件开发培训第一品牌

[url=http://www.mobiletrain.org/]iOS培训[/url] [url=http://www.mobiletrain.org/]北京iOS培训[/url]

5 楼

选择千锋 选择卓越 千锋3G 手机软件开发培训第一品牌

[url=http://www.mobiletrain.org/]iOS培训[/url] [url=http://www.mobiletrain.org/]北京iOS培训[/url]

我来回复

您尚未登录,请登录后再回复。点此登录或注册