Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案

在《WordPress 屏蔽恶意搜索,防止被搜索引擎收录恶意搜索结果》中,提到了网站被恶意搜索攻击,已经给出了一些处理方案,但是最近查看 Google Search Console 的覆盖率,看到了“已编入索引,尽管遭到 robots.txt 屏蔽”的警告,一看具体的网址,几万条全部都是恶意搜索结果。

Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案

查看了google官方文档《已编入索引,但被 robots.txt 屏蔽了》,了解到通过 robots.txt 并不能阻止Google索引恶意搜索结果:

Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案
Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案

而是需要通过使用“noindex”阻止搜索引擎编入索引

Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案

重要提示:为让 noindex 指令生效,网页不得被 robots.txt 文件屏蔽,并且必须能被抓取工具访问。如果该网页被 robots.txt 文件屏蔽或抓取工具无法访问该网页,那么抓取工具将永远无法看到 noindex 指令,因此该网页可能仍会显示在搜索结果中,例如,如果有其他网页链接到该网页的话。

我们不能在 robots.txt 屏蔽google蜘蛛访问搜索结果网址,但是倡萌并不清楚百度等其他搜索引擎是否会遵循 noindex 指令,所以我们在 robots.txt 中允许谷歌蜘蛛抓取搜索结果页面,但是禁止其他搜索引擎抓取。

Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案

按照《WordPress 屏蔽恶意搜索,防止被搜索引擎收录恶意搜索结果》 处理过的恶意搜索结果页面,会返回404状态码,并且源码中包含了 <meta name="robots" content="noindex">

Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案

这样一来,google蜘蛛就可以读取到该指令,不再索引被屏蔽关键词的恶意搜索结果页面。

以上步骤处理完以后,在 Google Search Console 覆盖率的警告界面,提交验证,然后耐心等待处理。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 lk2768783601@gmail.com 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023年9月6日 下午12:36
下一篇 2023年9月6日 下午12:43

相关推荐

  • 如何优化图片来提高WordPress网站加载速度

    了使您的WordPress网站更能吸引访问者并增加转化次数,网站的内容必须吸引人。图文搭配可以使你的文章更具吸引力,但是,高质量图像通常意味着较大的文件大小,会导致网页加载速度变慢。 所以,我们应该在确保图文排版需求的情况下,尽可能优化图片来减少对网页加载速度的影响。 在这篇文章中,我们将说明图像如何影响WordPress网站的速度和性能。然后,我们将为您提…

    2023年9月6日
    2980
  • WordPress入门 之 如何安装WordPress

    文本是《WordPress 入门教程(共19篇)》专题的第 3 篇。阅读本文前,建议先阅读前面的文章: 下面接着更新该系列的文章,今天主要演示一下如何安装WordPress,如果你已经掌握了,就看看其他文章吧。不会的朋友,一起来看看吧。 安装前的准备 1.下载最新版的 WordPress (这里演示为WordPress 3.5 官方中文版),解压后,将Wor…

    2023年8月29日
    1450
  • 为你的 WordPress 站点添加 robots.txt

    稍微接触过SEO的站长朋友都应该知道 robots协议(也称为爬虫协议、爬虫规则、机器人协议等),也就是通常添加到网站根目录的robots.txt 文件,它的作用在于告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,从而优化网站的收录结果和权重。 如果你的网站根目录还没有 robots.txt,你可以创建一个,具体的写法请参考 百度百科。下面是一个基本的 Wo…

    wordpress 2023年8月29日
    1390
  • WordPress网站添加百度统计代码统计网站访问量

    文本是《WordPress 入门教程(共19篇)》专题的第 18 篇。阅读本文前,建议先阅读前面的文章。 不少WordPress新手站长可能还不知道如何统计网站的访问,如果你的是WordPress外贸网站,建议添加谷歌分析统计访问量:WordPress外贸网站添加谷歌分析(Google Analytics)代码统计网站访问量;如果你的网站是国内访客为主,或者…

    2023年8月29日
    1380
  • WordPress入门 之 新建页面和管理页面

    文本是《WordPress 入门教程(共19篇)》专题的第 8 篇。阅读本文前,建议先阅读前面的文章: WordPress的页面和文章类似,也是一种内容发布功能,但是它们又有所不同,下面非鱼简单介绍一下。打开后台 – 页面 – 新建页面,就可以看到如下界面: 页面和文章的异同 页面和文章类似 —— 它们都有标题、正文,以及附属的相关信息。但是页面类似永久的文…

    2023年8月29日
    1570
关注微信