为你的 WordPress 站点添加 robots.txt

稍微接触过SEO的站长朋友都应该知道 robots协议(也称为爬虫协议、爬虫规则、机器人协议等),也就是通常添加到网站根目录的robots.txt 文件,它的作用在于告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,从而优化网站的收录结果和权重。

如果你的网站根目录还没有 robots.txt,你可以创建一个,具体的写法请参考 百度百科。下面是一个基本的 WordPress  robots协议:

  1. User-agent: *
  2. Disallow: /feed/
  3. Disallow: /trackback/
  4. Disallow: /wp-admin/
  5. Disallow: /wp-content/
  6. Disallow: /wp-includes/
  7. Disallow: /xmlrpc.php
  8. Disallow: /wp-
  9. Allow: /wp-content/uploads/
  10. Sitemap: http://example.com/sitemap.xml

下面主要介绍一下 WordPress 自动创建虚拟 robots.txt 功能。如果你的网站根目录不存在真实的 robots.txt,那么可以让 WordPress 自动创建一个虚拟的 robots.txt (该文件不会真实存在,但是访问 http://yoursite.com/robots.txt 时可以正常显示)

将下面的代码添加到主题的 functions.php 即可:

  1. /**

  2. * 为你的 WordPress 站点添加 robots.txt

  3. * https://www.wpdaxue.com/add-robots-txt.html

  4. */

  5. add_filter( ‘robots_txt’, ‘robots_mod’, 10, 2 );

  6. function robots_mod( $output, $public ) {

  7. $output .= “Disallow: /user/”; // 禁止收录链接中包含 /user/ 的页面

  8. return $output;

  9. }

注:如果你想添加更多的规则,请复制上面代码的第 7 行,然后修改一下即可。

访问 http://yoursite.com/robots.txt  我们可以看到如下内容:

  1. Useragent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-includes/
  4. Disallow: /user/

也就是说,WordPress 默认已经添加了前 3 行规则了。

robots.txt 涉及到网站的收录,所以请确保你明白它的书写方法,保证每条规则都是正确无误的!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 lk2768783601@gmail.com 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023年8月29日 下午4:21
下一篇 2023年8月29日 下午4:27

相关推荐

  • 如何构建 WordPress 古腾堡编辑器块模板

    在古腾堡时代,设计过程并不严格与WordPress 主题相关。开箱即用的 CMS 为用户提供了构建出色的网站布局所需的所有设计工具,并且主题旨在添加更多构建和设计工具。 块模板(Block Templates)是一项可以释放网站建设更多功能的功能。根据块编辑器手册: 块模板被定义为块项的列表。此类块可以具有预定义的属性、占位符内容,并且可以是静态的或动态的。…

    2023年9月4日
    1070
  • seo自动优化软件有哪些(7个实用且免费的SEO工具)

    SEO是网站获得额外流量,提高销量和品牌美誉度的关键一步,但是数据分析是一个很头疼的问题,没有办法写出高质量的内容。幸运的是,有很多免费的SEO工具可以帮助卖家。 本文将介绍七款优秀的免费SEO工具,重点介绍不同工具的特点和功能,并评价其使用价值。 1.谷歌分析 谷歌分析可以提供高质量和详细的信息。在这个由谷歌主导的时代,其他大部分数据工具只是用API(应用…

    2023年4月9日
    1400
  • sem高端经验指南技术

    sem能够做什么,有经验和没有经验差多少? SEM可以简单的理解为搜索引擎的付费营销。这个营销手段做到后面就是靠经验,因为没有什么技术可言,靠的就是你对行业的理解,对客户需求的研究,加上善于数据分析。可以直白的说,没有经验和要经验的相差很远。没有经验效果不佳花费还多,有经验的人效果比较理想花钱也少。当然每个人都是从无到有的,现在没有经验的话机多去历练。多研究…

    2023年8月5日
    1060
  • 企业微信群是怎么创建的?(微信群人数上限如何突破500人?)

    企业微信群作为加强企业内部沟通,提高工作效率的工具,在日常工作中是必不可少的。那企业微信群该怎么建立呢?让环盛来告诉你建立企业微信群的奥妙吧~ 一、如何建立微信群聊 (1)第一步,进入企业微信官网:https://work.weixin.qq.com/(2)注册企业微信并填写相关信息; (3)注册完成之后点击下载客户端 (4)登录企业微信应用端,点击右上角+…

    2023年5月10日
    1460
  • 百度快照怎么做?网站优化百度快照怎么做的教学方法!

    要想做好网站关键词排名,首先就是网站页面就需要做百度快照,而百度快照则相当于被搜索引擎收录的一个凭证。然而很多企业认为百度快照优化就是关键词排名优化,其实不以为然,下面SEO教程就为大家介绍一下网站排名优化百度快照怎么做?百度快照怎么做教学方法? 什么是百度快照? 百度快照简单来说,其实是搜索引擎针对网站页面形成一个照片,百度收录收录网站页面后,会在服务器形…

    2023年8月5日
    1090
关注微信