首页 > 文章专栏 > 正文

如何阻止搜索引擎爬取WordPress网站

猫哥发布于 2026/08/09wordpress教程

我们总是将新网站对搜索引擎隐藏，直到它们准备好迎接真实访客。在希望一切完美时，发布一个半成品网站会让人感到压力。

控制网站可见性可以保护你的私密工作，防止 Google 为不完整的页面排名。这让你完全掌控网站何时上线。

猫哥依靠几个简单技巧将自己的新项目完全保密。现在，我们将带你一步步了解如何阻止搜索引擎爬取你的网站。

为什么要阻止搜索引擎爬取 WordPress 网站？

对于大多数 WordPress 网站来说，搜索引擎是最大的流量来源。你可能会问，为什么有人会想阻止搜索引擎呢？

以下是一些你不希望搜索引擎索引网站的情况：

刚开始时，你可能不知道如何创建本地开发环境或临时站点，而是直接在线上开发网站。你不希望 Google 在网站处于“建设中”或“维护模式”时索引它。
也有很多人用 WordPress 创建私人博客。他们不希望被搜索引擎索引，因为内容属于隐私。
还可以用 WordPress 做项目管理或内部网。在这种情况下，内部文档不应公开访问。

一个常见的误解是：如果没有任何链接指向你的域名，搜索引擎就永远不会找到你的网站。这并不完全正确。例如，域名可能之前被他人使用过，仍有历史链接；或者互联网上有成千上万列出域名的页面，你的网站可能出现在其中。

在深入方法之前，让我们快速澄清两个重要术语：

爬取（Crawling）：搜索引擎机器人（如 Googlebot）访问你的网站，发现其内容。
索引（Indexing）：机器人将内容添加到海量搜索数据库中，以便在搜索结果中显示。

想象一下：图书管理员阅读一本新书（爬取），然后将其加入图书馆目录（索引）。下面的一些方法会完全阻止爬取，而另一些仅阻止索引。我们会明确说明！

接下来，我们介绍四种方法：

要求搜索引擎不爬取你的 WordPress 网站
要求搜索引擎不索引单个页面
使用 cPanel 对整个网站进行密码保护
使用插件对 WordPress 进行密码保护
常见问题解答（FAQ）
搜索引擎爬取与索引的专家指南

方法一：要求搜索引擎不爬取你的 WordPress 网站

这是最简单的方法，但不能完全保护网站不被爬取。

WordPress 自带内置功能，允许你指示搜索引擎不要索引你的网站。你只需访问 设置 » 阅读，勾选“搜索引擎可见性”旁边的复选框。

使用内置的“阻止搜索引擎索引”设置

勾选后，WordPress 会在网站头部添加以下代码：

<meta name='robots' content='noindex,nofollow' />

这个标签告诉搜索引擎不要在搜索结果中显示此页面（noindex），同时不要跟踪此页面上的链接（nofollow）。

WordPress 还会修改你的 robots.txt 文件，添加禁止规则：

User-agent: *
Disallow: /

robots.txt 规则要求爬虫不要爬取你的页面，而 meta 标签严格告诉它们不要索引。但有一个陷阱：因为 robots.txt 阻止了爬虫访问，它们可能永远看不到你的 noindex 标签。如果其他网站链接到你的域名，Google 仍可能索引你的 URL（搜索结果中常显示“信息不可用”）。

如果你想完全阻止搜索引擎索引或爬取你的网站，则需要使用方法三或方法四进行密码保护。

方法二：要求搜索引擎不索引单个页面

你可能希望搜索引擎爬取并索引你的网站，但不想让某些特定文章或页面出现在搜索结果中。最简单的方法是使用 All in One SEO (AIOSEO) 插件。它是最好用的 WordPress SEO 工具，被超过 300 万企业信赖。

本教程使用 AIOSEO 免费版，因为它包含 SEO 分析工具。如果你需要更全面的 SEO 优化，可以参考猫哥的 SEO 优化指南。此外，付费版还提供站点地图工具、重定向管理器、schema 标记、robots.txt 编辑器等功能。

首先，你需要安装并激活 AIOSEO 插件。可以按照猫哥的如何设置 All in One SEO for WordPress 步骤操作（推荐使用 Hostinger 托管，点击查看服务器推荐）。

插件设置完成后，你可以用它来要求搜索引擎不要索引某些文章和页面。同样，搜索引擎是否接受请求完全取决于它们。

只需编辑你不想被索引的文章或页面，滚动到 WordPress 编辑器底部的 AIOSEO 设置，然后点击“高级”选项卡。

AIOSEO 高级设置

默认情况下，文章会使用标准 robots 设置。我们需要更改它。将“使用默认设置”的开关关闭。

要求搜索引擎不索引单个页面

现在勾选“No Index”复选框。发布或更新文章后，搜索引擎将被要求不索引它。

更多详情请查看猫哥的 AIOSEO 评测。

方法三：使用 cPanel 对整个网站进行密码保护

如果你的 WordPress 托管提供商（例如猫哥推荐的 Hostinger，点击查看）提供 cPanel 访问权限，你可以使用 cPanel 保护整个网站。

使用 cPanel 的目录隐私功能

找到安装 WordPress 的文件夹，通常是 public_html。

小技巧： 点击文件夹图标可以查看内容。要设置密码保护，只需点击文件夹旁边的“编辑”按钮。

编辑根文件夹

注意： 如果 public_html 目录下安装了多个 WordPress 站点，需要点击 public_html 链接浏览这些站点，然后编辑你要保护的网站文件夹。

接下来进入设置页面，勾选“密码保护此目录”，点击“保存”按钮。你还可以自定义保护目录的名称。

勾选密码保护此目录

会出现目录权限已更改的确认消息，点击“返回”按钮。

cPanel 目录隐私成功消息

在下一个页面，系统会要求你创建新用户。输入用户名和密码，并确认密码。务必把这些登录信息保存在安全的地方（如密码管理器），因为你需要它们来查看网站。

添加用户名和密码

点击“保存”后，你的 WordPress 网站就成功添加了密码保护。

警告： 在服务器级别进行密码保护会阻止所有对网站的访问。如果你正在测试第三方服务（如外部 cron 任务或支付网关如 Stripe、PayPal），它们将无法连接到你的网站。

现在，无论用户还是搜索引擎访问你的网站，都会提示输入你创建的用户名和密码才能查看。

现在需要用户名和密码才能访问网站

方法四：使用插件密码保护 WordPress

如果你使用的是托管 WordPress 方案（例如 Hostinger 托管，点击查看），可能没有 cPanel 访问权限。这种情况下，你可以使用 WordPress 插件来密码保护网站。以下是两个最流行的解决方案：

SeedProd：它是 #1 的“即将上线”和“维护模式”插件，被超过 200 万网站使用。对于正在建设中的网站，它是完美解决方案：你可以向人类访客展示漂亮的定制登录页面，同时完全隐藏未完成的网站和代码，防止搜索引擎抓取。猫哥有详细的 SeedProd 使用指南。
Password Protected：一个非常简单的插件，用单个密码保护 WordPress 网站（无需创建用户）。查看猫哥的如何密码保护 WordPress 网站教程。

常见问题解答（FAQ）

1. 阻止爬取和阻止索引有什么区别？

阻止爬取（使用 robots.txt）就像挂一个“禁止入内”的牌子，要求搜索引擎机器人不要查看你的网站内容。阻止索引（使用 noindex 标签）则告诉搜索引擎不要在搜索结果中列出你的网站，即使它们已经爬取过。

2. WordPress 内置的“阻止搜索引擎索引”选项是否足够隐藏网站？

对于临时开发，通常足够。但此方法仅是一个请求，有些搜索引擎可能不会遵守。如果需要完全保密或保护敏感信息，密码保护是唯一可靠的方法。

3. 密码保护我的网站会不会在准备上线时损害 SEO？

不会。密码保护期间，搜索引擎无法访问网站，所以没有 SEO 排名（无论正面还是负面）。一旦移除密码保护并允许索引，搜索引擎会正常开始爬取和排名。

4. 如何检查 Google 是否已经索引了我的网站？

最简单的方法是在 Google 上进行站点搜索。访问 google.com 并输入 site:yourdomain.com。如果出现任何结果，说明网站已被索引。更精确的方法是使用免费的 Google Search Console，将任何 URL 粘贴到 URL 检查工具中，查看其索引状态。