admin 管理员组

文章数量: 887032


2024年1月23日发(作者：程序员什么学历最吃香)

规则

是一种文件，用于告诉搜索引擎爬虫哪些页面可以被访问，哪些不可以被访问。它通常放置于网站的根目录下，即域名后面的第一个文件。网站管理员可以通过修改来控制搜索引擎爬虫的行为，从而保证网站内容的安全和正确性。下面是规则及其解释。

User-agent:

Disallow:

这是文件中最基本的规则，意思是所有的搜索引擎爬虫都不可以访问网站的任何页面。

这个规则的意思是所有的搜索引擎爬虫都不可以访问网站的任何页面。这个规则通常比较危险，应该只在特殊情况下使用，比如网站被黑或者正在进行重大维护升级等。

这个规则的意思是只限制Google爬虫（googlebot）不能访问网站的/private/目录下的页面。其他的搜索引擎爬虫依然可以访问这些页面。

User-agent: *

Disallow: /admin/

Disallow: /cgi-bin/

Disallow: /db/

Disallow: /includes/

Disallow: /modules/

Disallow: /tmp/

Disallow: /web_services/

Disallow: /xmlrpc/

这个规则禁止搜索引擎爬虫访问网站的管理员目录、cgi-bin目录、数据库目录、代码包含目录、模块目录、临时文件目录、Web服务目录和XML-RPC目录。这些目录通常包含的是网站的敏感信息和业务数据，所以要严格控制访问权限。

这个规则是WordPress网站的标准规则。它禁止了Google爬虫访问网站的说明文件、许可证文件、登录页面、XML-RPC文件以及WordPress的后台目录和核心文件目录。其他的搜索引擎爬虫也可以根据这个规则进行访问控制。

这个规则禁止搜索引擎爬虫访问网站的压缩文件、PDF文件、Word文件、Excel文件、PPT文件和Flash文件。这些文件通常比较大，访问也会减缓网站内部的流程和用户体验。如果网站需要公开这些文件，可以使用单独的文件夹来存储它们，并在文件中进行具体指定。

Disallow: /search$

Disallow: /*?s=

这个规则禁止搜索引擎爬虫访问网站的搜索页面。搜索页面通常不包含实际的内容，而是一些带有搜索参数的页面，通过这些页面搜索引擎爬虫可以访问到网站内部的一些敏感信息。这个规则能够保护搜索页面和搜索参数的安全性。

总结一句话：规则能够保护网站的数据安全和隐私保护，同时也可以提高搜索引擎爬虫的效率和精准度。


本文标签： 网站 爬虫 访问

版权声明：本文标题：robots规则 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/free/1706015657h498146.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。