Google的自动抓取工具支持REP（robots协议）。这意味着，在抓取某一网站之前，Google抓取工具会下载并解析该网站的robots.txt文件，以提取关于网站中哪些部分可以被抓取的信息。REP不适用于由用户控制的Google抓取工具（例如Feed订阅），也不适用于用来提高用户安全性的抓取工具（例如恶意软件分析）。本文介绍了Google对REP的解读。有关原始草稿标准的信息，请查看IETFDataTracker。如果您是首次接触robots.txt，请先阅读我们的robots.txt简介。您还可以找到关于创建robots.txt文件的提示，以及一个详尽的常见问题解答列表。什么是robots.txt文件如果您不希望抓取工具访问您网站中的部分内容，可以创建包含相应规则的robots.txt文件。robots.txt文件是一个简单的文本文件，其中包含关于哪些抓取工具可以访问网站的哪些部分的规则。例如，example.com的robots.txt文件可能如下所示：#Thisrobots.txtfilecontrolscrawlingofURLsunderhttps://example.com.#Allcrawlersaredisallowedtocrawlfilesinthe"includes"directory,such#as.css,.js,butGooglebotneedsthemforrendering,soGooglebotisallowed#tocrawlthem.User-agent:*Disallow:/includes/User-agent:GooglebotAllow:/includes/Sitemap:https://example.com/sitemap.xml文件位置和有效范围您必须将robots.txt文件放在网站的顶级目录中，并为其使用支持的协议。就Google搜索而言，支持的协议包括HTTP、HTTPS和FTP。使用HTTP和HTTPS协议时，抓取工具会使用HTTP无条件GET请求来提取robots.txt文件；使用FTP时，抓取工具会使用标准RETR(RETRIEVE)命令，并采用匿名登录方式。robots.txt文件中列出的规则只适用于该文件所在的主机、协议和端口号。和其他网址一样，robots.txt文件的网址也区分大小写。有效robots.txt网址的示例下表列出了robots.txt网址及其适用的网址路径的示例。robots.txt网址示例http://example.com/robots.txt适用于：http://example.com/http://example.com/folder/file不适用于：http://other.example.com/https://example.com/http://example.com:8181/这属于一般情况。该网址对其他子网域、协议或端口号来说无效。对同一个主机、协议和端口号上的所有子目录中的所有文件有效。http://www.example.com/robots.txt适用于：http://www.example.com/不适用于：http://example.com/http://shop.www.example.com/http://www.shop.example.com/子网域上的robots.txt只对该子网域有效。http://example.com/folder/robots.txt不是有效的robots.txt文件。抓取工具不会检查子目录中的robots.txt文件。http://www.exämple.com/robots.txt适用于：http://www.exämple.com/http://xn--exmple-cua.com/不适用于：http://www.example.com/IDN等同于其对应的Punycode版本。另请参阅RFC3492。ftp://example.com/robots.txt适用于：ftp://example.com/不适用于：http://example.com/http://212.96.82.21/robots.txt适用于：http://212.96.82.21/不适用于：http://example.com/（即使托管在212.96.82.21上）以IP地址作为主机名的robots.txt只在抓取作为主机名的该IP地址时有效。该robots.txt文件并不会自动对该IP地址上托管的所有网站有效，但该文件可能是共享的，在此情况下，它也可以在共享主机名下使用。http://example.com/robots.txt适用于：http://example.com:80/http://example.com/不适用于：http://example.com:81/标准端口号（HTTP为80，HTTPS为443，FTP为21）等同于其默认的主机名。http://example.com:8181/robots.txt适用于：http://example.com:8181/不适用于：http://example.com/非标准端口号上的robots.txt文件只对通过这些端口号提供的内容有效。错误处理和HTTP状态代码在请求robots.txt文件时，服务器响应的HTTP状态代码会影响Google抓取工具使用robots.txt文件的方式。下表总结了Googlebot针对各种HTTP状态代码处理robots.txt文件的方式。错误处理和HTTP状态代码2xx（成功）表示成功的HTTP状态代码会提示Google抓取工具处理服务器提供的robots.txt文件。3xx（重定向）Google会按照RFC1945的规定跟踪至少五次重定向，然后便会停止，并将其作为robots.txt的404错误来处理。这也适用于重定向链中任何被禁止访问的网址，因为抓取工具会由于重定向而无法提取规则。Google不会跟踪robots.txt文件中的逻辑重定向（框架、Javascript或元刷新型重定向）。4xx（客户端错误）Google抓取工具会将所有4xx错误解读为网站不存在有效的robots.txt文件，这意味着抓取将不受限制。这包括401(unauthorized)和403(forbidden)HTTP状态代码。5xx（服务器错误）由于服务器无法对Google的robots.txt请求提供明确响应，因此Google会暂时将服务器错误解读为网站完全禁止访问。Google会尝试抓取robots.txt文件，直到获得非服务器错误的HTTP状态代码。503(serviceunavailable)错误会导致非常频繁的重试操作。如果连续30天以上无法访问robots.txt，Google会使用该robots.txt的最后一个缓存副本。如果没有缓存副本，Google会假定没有任何抓取限制。如果您需要暂停抓取，建议为网站上的每个网址提供503HTTP状态代码。如果我们能够确定，某网站因为配置不正确而在缺少网页时返回5xx而不是404状态代码，就会将该网站的5xx错误作为404错误处理。例如，如果返回5xx状态代码的网页上的错误消息为"找不到网页"，我们会将该状态代码解释为404(notfound)。其他错误对于因DNS或网络问题（例如超时、响应无效、重置或断开连接、HTTP组块错误等）而无法抓取的robots.txt文件，系统在处理时会将其视为服务器错误。缓存Google通常会将robots.txt文件的内容最多缓存24小时，但在无法刷新缓存版本的情况下（例如出现超时或5xx错误时），缓存时间可能会延长。已缓存的响应可由各种不同的抓取工具共享。Google会根据max-ageCache-ControlHTTP标头来延长或缩短缓存生命周期。文件格式robots.txt文件必须是采用UTF-8编码的纯文本文件，且各行代码必须以CR、CR/LF或LF分隔。Google会忽略robots.txt文件中的无效行，包括robots.txt文件开头处的Unicode字节顺序标记(BOM)，并且只使用有效行。例如，如果下载的内容是Html格式而非robots.txt规则，Google会尝试解析内容并提取规则，而忽略其他所有内容。同样，如果robots.txt文件的字符编码不是UTF-8，Google可能会忽略不属于UTF-8范围的字符，从而可能会导致robots.txt规则无效。Google目前强制执行的robots.txt文件大小限制是500KiB，并忽略超过该上限的内容。您可以通过整合会导致robots.txt文件过大的指令来减小robots.txt文件的大小。例如，将已排除的内容放在一个单独的目录中。语法有效的robots.txt行由一个字段、一个冒号和一个值组成。可以选择是否使用空格，但建议使用空格，有助于提高可读性。系统会忽略行开头和结尾的空格。若要添加注释，请在注释前面加上#字符。请注意，#字符后面的所有内容都会被忽略。常见格式为:。Google支持以下字段：user-agent：标识相应规则适用于哪些抓取工具。allow：可抓取的网址路径。disallow：不可抓取的网址路径。sitemap：站点地图的完整网址。allow和disallow字段也称为指令。这些指令始终以directive:[path]的形式指定，其中[path]可以选择性使用。默认情况下，指定的抓取工具没有抓取限制。抓取工具会忽略不带[path]的指令。如果指定了[path]值，该路径值就是robots.txt文件所在网站的根目录的相对路径（使用相同的协议、端口号、主机和域名）。路径值必须以/开头来表示根目录，该值区分大小写。详细了解基于路径值的网址匹配。user-agentuser-agent行用来标识相应规则适用于哪些抓取工具。请参阅Google抓取工具和用户代理字符串，获取可在robots.txt文件中使用的用户代理字符串的完整列表。user-agent行的值不区分大小写。disallowdisallow指令用来指定不能被disallow指令所属的用户代理行所标识的抓取工具访问的路径。抓取工具会忽略不含路径的指令。Google无法将禁止抓取的网页的内容编入索引，但可能仍会将其网址编入索引并将其显示在搜索结果中，但不显示摘要。了解如何阻止编入索引。disallow指令的值区分大小写。用法：disallow:[path]allowallow指令用来指定相应抓取工具可以访问的路径。如果未指定路径，该指令将被忽略。allow指令的值区分大小写。用法：allow:[path]sitemap根据sitemaps.org规定，Google、Bing和其他主流搜索引擎支持robots.txt中的sitemap字段。sitemap字段的值区分大小写。用法：sitemap:[absoluteURL][absoluteURL]行指向站点地图或站点地图索引文件的位置。此网址必须是完全限定网址，包含协议和主机，且无需进行网址编码。此网址不需要与robots.txt文件位于同一主机上。您可以指定多个sitemap字段。sitemap字段不依赖于任何特定的用户代理，只要未被禁止抓取，所有抓取工具都可以追踪它们。例如：user-agent:otherbotdisallow:/kalesitemap:https://example.com/sitemap.xmlsitemap:https://CDN.example.org/other-sitemap.xmlsitemap:https://ja.example.org/テスト-サイトマップ.xml行和规则分组通过对每个抓取工具重复user-agent行，可将适用于多个用户代理的规则组合在一起。例如：user-agent:adisallow:/cuser-agent:bdisallow:/duser-agent:euser-agent:fdisallow:/guser-agent:h此示例中有四个不同的规则组：用户代理"a"为一组用户代理"b"为一组用户代理"e"和"f"为一组用户代理"h"为一组有关组的技术说明，请参阅REP的第2.1节。用户代理的优先顺序对于某个抓取工具而言，只有一个组是有效的。Google抓取工具会在robots.txt文件中查找包含与抓取工具的用户代理相匹配的最具体用户代理的组，从而确定正确的规则组。其他组会被忽略。所有非匹配文本都会被忽略（例如，googlebot/1.2和googlebot*均等同于googlebot）。这与robots.txt文件中的组顺序无关。如果为用户代理声明多个特定组，则这些组中适用于该特定用户代理的所有规则会在内部合并成一个组。特定于用户代理的组和全局组(*)不会合并。示例user-agent字段的匹配情况user-agent:googlebot-news(group1)user-agent:*(group2)user-agent:googlebot(group3)以下为抓取工具选择相关组的方法：每个抓取工具追踪的组GooglebotNewsgooglebot-news遵循组1，因为组1是最具体的组。Googlebot（网络）googlebot遵循组3。GooglebotImagesgooglebot-images遵循组2，因为没有具体的googlebot-images组。GooglebotNews（抓取图片时）抓取图片时，googlebot-news遵循组1。googlebot-news不会为Google图片抓取图片，因此它只遵循组1。Otherbot（网络）其他Google抓取工具遵循组2。Otherbot（新闻）抓取新闻内容但未标识为googlebot-news的其他Google抓取工具遵循组2。即使有相关抓取工具的对应条目，也只有在明确匹配时才会有效。规则分组如果robots.txt文件中有多个组与特定用户代理相关，则Google抓取工具会在内部合并这些组。例如：user-agent:googlebot-newsdisallow:/fishuser-agent:*disallow:/carrotsuser-agent:googlebot-newsdisallow:/shrimp抓取工具会根据用户代理在内部对规则进行分组，例如：user-agent:googlebot-newsdisallow:/fishdisallow:/shrimpuser-agent:*disallow:/carrotsallow、disallow和user-agent以外的其他规则会被robots.txt解析器忽略。这意味着以下robots.txt代码段被视为一个组，因此user-agenta和b均受disallow:/规则的影响：user-agent:asitemap:https://example.com/sitemap.xmluser-agent:bdisallow:/当抓取工具处理robots.txt规则时，会忽略sitemap行。例如，下面说明了抓取工具如何理解之前的robots.txt代码段：user-agent:auser-agent:bdisallow:/基于路径值的网址匹配Google会以allow和disallow指令中的路径值为基础，确定某项规则是否适用于网站上的特定网址。为此，系统会将相应规则与抓取工具尝试抓取的网址的路径部分进行比较。路径中的非7位ASCII字符可以按照RFC3986作为UTF-8字符或百分号转义的UTF-8编码字符纳入。对于路径值，Google、Bing和其他主流搜索引擎支持有限形式的通配符。这些通配符包括：*表示出现0次或多次的任何有效字符。$表示网址结束。路径匹配示例/匹配根目录以及任何下级网址。/*等同于/。结尾的通配符会被忽略。/$仅匹配根目录。任何更低级别的网址均可抓取。/fish匹配以/fish开头的任何路径。匹配项：/fish/fish.html/fish/salmon.html/fishheads/fishheads/yummy.html/fish.php?id=anything不匹配项：/Fish.asp/catfish/?id=fish/desert/fish注意：匹配时区分大小写。/fish*等同于/fish。结尾的通配符会被忽略。匹配项：/fish/fish.html/fish/salmon.html/fishheads/fishheads/yummy.html/fish.php?id=anything不匹配项：/Fish.asp/catfish/?id=fish/fish/匹配/fish/文件夹中的任何内容。匹配项：/fish//animals/fish//fish/?id=anything/fish/salmon.htm不匹配项：/fish/fish.html/Fish/Salmon.asp/*.php匹配包含.php的任何路径。匹配项：/index.php/filename.php/folder/filename.php/folder/filename.php?parameters/folder/any.php.file.html/filename.php/不匹配项：/（即使其映射到/index.php）/windows.PHP/*.php$匹配以.php结尾的任何路径。匹配项：/filename.php/folder/filename.php不匹配项：/filename.php?parameters/filename.php//filename.php5/windows.PHP/fish*.php匹配包含/fish和.php（按此顺序）的任何路径。匹配项：/fish.php/fishheads/catfish.php?parameters不匹配项：/Fish.PHP规则的优先顺序匹配robots.txt规则与网址时，抓取工具会根据规则路径的长度使用最具体的规则。如果规则（包括使用通配符的规则）存在冲突，Google将使用限制性最弱的规则。以下示例演示了Google抓取工具会对特定网址应用什么规则。示例情况http://example.com/pageallow:/pdisallow:/适用规则：allow:/p，因为它更具体。http://example.com/folder/pageallow:/folderdisallow:/folder适用规则：allow:/folder，因为存在多个匹配规则时，Google会使用限制性最弱的规则。http://example.com/page.htmallow:/pagedisallow:/*.htm适用规则：disallow:/*.htm，因为它与网址中的字符匹配得更多，因此更具体。http://example.com/page.php5allow:/pagedisallow:/*.ph适用规则：allow:/page，因为存在多个匹配规则时，Google会使用限制性最弱的规则。http://example.com/allow:/$disallow:/适用规则：allow:/$，因为它更具体。http://example.com/page.htmallow:/$disallow:/适用规则：disallow:/，因为allow规则仅适用于根网址。谷歌搜索引擎优化(SEO)创建并提交robots.txt文件
の妻子精彩内容不断补充功能细节持续完善
| 魔爪铃音网使用体验持续优化用户反馈积极处理 | 工业和信息化部等七部门发布关于印发《加力推进 |
|---|---|
| 6月21日，中央纪委国家监委发布消息，自然资源部原党组成员，中国地质调查局原党组书记、局长钟自然被开除党籍，涉嫌受贿、故意泄露国家秘密犯罪问题移送检察机关依法审查起诉。 | 张先生说，因为网球人群的增多，网球运动关联经济也更加活跃。球衣、球袜、球包以及打球的各种装备和周边产品，包括网球训练课都在走俏。比赛数量的增加，更是提升了各地运动场馆的利用率。 |
| 2018年自然资源部成立后，钟自然任自然资源部党组成员，中国地质调查局局长、党组书记。直至2022年9月卸任。今年1月2日，即2024年首个工作日，其官宣被查。 | 去哪儿数据显示，消息发布后，去哪儿平台“澳大利亚”机票搜索量环比增长四成以上。在去哪儿平台上，飞往澳大利亚的航线覆盖多个城市。悉尼可直飞北京、上海、广州、深圳、成都、杭州、重庆、南京、厦门、天津、济南、西安、海口、郑州、太原等多个城市，暑期从郑州、重庆、天津往返悉尼更便宜，价格在2500元左右。此外，墨尔本可直飞北京、上海、广州、成都、杭州、南京、厦门、青岛、海口等城市，上海、广州也有直飞布里斯班的航班在售。从旅游订单来看，大堡礁、悉尼歌剧院、出海观海豚受到旅客欢迎，8-12日团预订更多。在澳大利亚，旅客可以出海观鲸、看企鹅归巢，体验特色风情。 |
| 对西北城市来说，机场的作用尤为重要。西北不沿海，也没有内河航运。依托铁路和机场打造枢纽，形成开放门户，无论对区域还是全国而言，都具有经济与战略的双重意义。 | 体量不及西安的兰州，也拿出大手笔。T3航站楼面积40万平方米，综合交通中心27万平方米，是甘肃民航发展史上规模最大的工程。 |
| 针对目前的旱情，河南省水利厅于6月14日17时将水旱灾害防御（抗旱）Ⅳ级应急响应提升至Ⅲ级，并密切监视雨情、水情、旱情，科学精准调度水利工程，加强灌溉用水管理，细化落实各项供水保障措施，确保城乡居民饮水安全，最大程度减轻干旱灾害损失。 | 8月28日上午，中国煤矿文工团召开干部大会，宣布文工团领导任命决定。经文化和旅游部研究决定，任命靳东为中国煤矿文工团（中国安全生产艺术团）团长。 |
| 进一步改进工作作风，严格要求自己，求真务实，真抓实干，坚持以人民为中心的创作导向，强化“国家队”意识，努力以优秀作品向着艺术“高峰”不断攀登。 | 十二届四川省委科技委员会第一次会议，有多个重要议题，包括“学习中央科技委员会有关会议精神”“审议《省委科技委员会工作规则》等文件”。 |
经查，陈玉祥丧失理想信念，背弃初心使命，执纪违纪，执法犯法，罔顾中央八项规定精神，热衷于吃喝享乐，长期频繁接受宴请，违规接受旅游、健身等活动安排；无视组织原则，在干部选拔任用中为他人谋取利益并收受财物；违规收受礼品、礼金；违反工作要求，干预和插手司法及执纪执法活动；甘于被“围猎”，把组织赋予的权力当作谋取私利的工具，大搞权钱交易，利用职务便利为他人在企业经营、项目运营等方面谋利，并非法收受巨额财物。
欧美满嘴射精彩内容不断补充访问速度有所改善
- 图：在深圳举办的2023国际数字能源展上 随着参与网球运动的人逐渐增多，中国网球的基础设施也在不断完善。纪宁告诉《环球时报》记者：“我们在做一个项目，在北京朝阳区规划一个‘大满贯网球文化公园’，将汇集所有大满贯要素。人们既能在此观看全球顶级赛事，也能在场地上训练和比赛。”纪宁说，这仅是一个案例，但从中可以窥见中国网球运动基础设施越来越完善，也越来越专业化。作为体育产业的参与者与观察者，纪宁表示，不仅北京，全国各地网球运动设施也发展得越来越好。
- 涩涩视频网站亚洲佳作连连上线流畅播放体验升级 张先生认为，网球明星的出现与整个网球运动以及网球经济的发展是相互促进的，并形成正向反馈。他说，明星越多，示范效应就越强，就会更加刺激网球运动的发展，网球经济热度也会越高。而打网球的人多了，就会涌现出更多的网球明星。
- の妻子精彩内容不断补充功能细节持续完善 针对上述情况，通用汽车高管表示，企业对扭转中国市场的销售局面仍有信心，他们希望旗下新能源车型能在中国市场继续发力。据彭博社报道，通用汽车董事长兼首席执行官玛丽·博拉此前表示，“当你观察中国市场时，会发现它与5年前有很大不同。我们希望能够以正确的方式参与到这个市场中。”尽管在中国市场份额占比不大，但斯特兰蒂斯也看好中国市场，并“入股”中国车企。去年10月，斯特兰蒂斯宣布与中国零跑汽车成为全球战略伙伴，并向后者投资15亿欧元。
- 6月2日讯据北青体育报道 经查，陈玉祥丧失理想信念，背弃初心使命，执纪违纪，执法犯法，罔顾中央八项规定精神，热衷于吃喝享乐，长期频繁接受宴请，违规接受旅游、健身等活动安排；无视组织原则，在干部选拔任用中为他人谋取利益并收受财物；违规收受礼品、礼金；违反工作要求，干预和插手司法及执纪执法活动；甘于被“围猎”，把组织赋予的权力当作谋取私利的工具，大搞权钱交易，利用职务便利为他人在企业经营、项目运营等方面谋利，并非法收受巨额财物。
- av小游戏目前状态稳定可用使用体验持续优化 经查，王一新丧失理想信念，背弃初心使命，结交政治骗子，对抗组织审查；违背组织原则，隐瞒不报家庭房产情况，在组织谈话时不如实说明问题，违规选拔任用干部并收受财物；违规收受礼金，接受私营企业主低价装修，利用职权为特定关系人谋取利益，搞权色、钱色交易；道德败坏；以权谋私，大搞权钱交易，利用职务便利为他人在土地开发、项目承揽等方面谋利，并非法收受巨额财物。
前期，市场监管总局依据《中华人民共和国反垄断
- 公开资料显示，陈政高，男，汉族，1952年3月生，辽宁海城人，1970年12月参加工作，东北财经大学金融系货币银行学专业毕业，经济学硕士，系十七届中央候补委员、十八届中央委员。
- 经查，李鹏新丧失理想信念，背弃初心使命，培植个人势力，搞“七个有之”；无视中央八项规定精神，违规接受宴请和车辆司机服务安排；对组织不忠诚、不老实，在组织函询时不如实说明问题，违背组织原则，卖官鬻爵，严重污染地方政治生态；廉洁底线失守，长期违规收受礼品、礼金；腐化堕落；贪婪无度，政商勾连，大搞新型腐败，利用职务便利为他人在矿产开发、企业经营、干部选拔任用等方面谋利，并非法收受股权股份等巨额财物。
- 农业农村部派出3个由司局级干部带队的工作组和7个科技小分队，赴河北、山西、江苏、安徽、山东、河南、陕西7省，指导各地做好抗旱准备和应对工作，保质保量完成夏收夏播。
- 对抗旱工作作出安排部署。印发《关于做好当前抗旱工作的紧急通知》《关于切实做好抗旱播种保苗工作的紧急通知》等文件，就抗旱播种、田间管理、旱情监测、水源调度等提出要求。严格落实以气象预报为先导的应急响应联动机制，组织相关部门滚动开展旱情会商，分析研判旱情发展趋势。及时启动省级抗旱应急四级响应，14个省辖市先后启动本地区抗旱应急响应机制，全省进入抗旱应急状态。
- 数据显示，免签对入境游的促进效果显著。春秋旅游副总经理周卫红此前表示，自中国对多国单方面免签以来，对入境游市场起到积极的推动作用，让来自更多客源地的境外游客能够以更便捷的方式来到中国。
当地时间8月29日，巴黎残奥会首个比赛日。在伊夫林省圣康坦自行车馆，中国队选手李樟煜上演了一场“速度与激情”。男子C1级3000米个人追逐赛资格赛，他以3：31.338的成绩刷新该项目世界纪录。决赛中，李樟煜状态火热，夺得金牌，这也是中国体育代表团在本届残奥会上获得的首枚金牌。另一位中国队选手梁伟聪摘得银牌，恭喜中国队包揽该项目金银牌！
91污网站整体表现符合预期
截至6月13日，全省大、中型水库可用水总量40.48亿立方米，储量充足有保证，按照6月底前无有效降雨的最不利因素考虑，可放水7亿立方米用于抗旱灌溉；南水北调中线工程、大中型水库及河道供水正常，地下水源较充沛，能够满足抗旱需求。5月下旬以来，对全省98.72万眼农田建设灌溉机井和56.85万项灌排沟渠设备进行全面排查，及时修复损坏设施，确保抗旱灌溉需要。省财政近期专门安排3000万抗旱专项资金，支持各地开展抗旱工作。
“要完善科技创新体系，积极对接国家战略科技力量和资源，优化完善创新资源布局，努力攻克一批关键核心技术，着力打造西部地区创新高地。”
6月2日讯据北青体育报道
“要完善科技创新体系，积极对接国家战略科技力量和资源，优化完善创新资源布局，努力攻克一批关键核心技术，着力打造西部地区创新高地。”
