想象一下，你辛辛苦苦写了一篇好文章或教程，却发现被别人直接拿去当成自己的作品发布。这就是网站内容被剽窃（即“内容爬取”）的遭遇。
内容爬取（Content Scraping）是网站所有者面临的一大难题。这些爬虫就像小偷，复制你的作品，放到他们自己的网站上，有时甚至假装是原创。这非常令人沮丧和不公平。
在本文中，我们将介绍什么是博客内容爬取，如何减少和防止内容被爬取，甚至如何利用内容爬虫为自己带来好处。
什么是 WordPress 博客内容爬取？
博客内容爬取是指从多个来源获取内容，然后重新发布到另一个网站的行为。通常，这是通过你博客的 RSS 订阅 自动完成的。
不幸的是，WordPress 博客的内容被这样盗取是非常容易且常见的。如果发生在你身上，你就能理解这有多令人头疼和沮丧。
有时，你的内容会被直接复制粘贴到另一个网站，包括格式、图片、视频等。有时，你的内容会被重新发布，并附上来源链接（即注明出处）和指向你网站的链接，但未经你的许可。虽然这有时可能有助于你的 SEO，但你或许希望原创内容只保留在自己的网站上。
为什么内容爬虫要窃取内容？
一些用户问我们，为什么爬虫要窃取内容？通常，主要动机是借助你的辛苦劳动来获利：
- 联盟佣金：不诚实的联盟营销人员可能利用你的内容，通过搜索引擎为他们的网站引流，从而推广他们的利基产品。
- 潜在客户开发：律师或房产经纪人可能会花钱请人添加内容，以便在社区中建立权威，但他们可能并不知道这些内容是从其他来源爬取的。
- 广告收入：博客所有者可能爬取内容，打造一个“为了社区利益”的某个领域的知识库，然后在网站上铺满广告。
能否完全防止内容爬取？
在本文中，我们将向你展示一些可以减少和防止内容爬取的步骤。但不幸的是，无法完全阻止一个执着的盗贼。因此，我们在文章末尾加入了一个章节，介绍如何利用内容爬虫。虽然你无法总是阻止小偷，但或许可以从他们窃取的内容中获得一些流量和收入。
发现有人爬取了你的内容时该怎么办？
既然无法完全阻止爬虫，那么你某天可能会发现有人在使用从你博客窃取的内容。你可能会想该怎么办。以下是人们处理内容爬虫的几种常见方法：
- 什么都不做：打击爬虫会耗费大量时间，因此一些知名博主选择什么都不做。Google 已经将知名网站视为权威，但这对小型网站并不适用。所以，我们认为这种方法并非总是最佳。
- 要求删除：你可以联系爬虫网站，要求他们删除内容。如果他们拒绝，你可以提交删除通知。你可以在我们的指南中了解如何轻松查找并删除 WordPress 中的被盗内容。
- 利用它：虽然我们积极采取措施让猫哥（WPBeginner）上的被盗内容被删除，但同时我们也使用一些技巧，从爬虫那里获取流量和收入。你可以在下面的“利用内容爬虫”部分了解具体方法。
接下来，让我们看看如何在 WordPress 中防止博客内容爬取。由于这是一份全面的指南，我们提供了以下目录方便导航：
- 版权或商标注册你的博客名称和 Logo
- 让你的 RSS 订阅更难以爬取
- 禁用 Trackbacks 和 Pingbacks
- 阻止爬虫访问你的 WordPress 网站
- 防止 WordPress 中的图片被盗
- 阻止手动复制你的内容
- 利用内容爬虫
1. 版权或商标注册你的博客名称和 Logo
商标和版权法保护你的知识产权、品牌和业务，应对许多法律挑战，包括剽窃和未经授权使用你的版权材料或品牌名称和 Logo。你应该在你的网站上明确显示版权声明。虽然你的网站内容自动受版权法保护，但显示声明可以告知他人你的内容受版权保护，他们不能将你的受保护财产用于商业用途。
例如，你可以在 WordPress 页脚中添加带有动态日期的版权声明，使其保持更新。这可能会阻止一些用户窃取内容。同时，当需要发送停止侵权函或提交 DMCA 投诉以删除被盗内容时，这也会有所帮助。你还可以在线申请版权注册。虽然流程可能复杂，但幸运的是，有一些低成本的法律服务可以帮助小型企业和个人。更多信息请参考我们的指南：如何为你的博客名称和 Logo 注册商标和版权。
2. 让你的 RSS 订阅更难以爬取
由于博客内容爬取通常通过你博客的 RSS 订阅自动完成，下面我们介绍一些有用的更改。
不要在 WordPress RSS 订阅中包含完整文章内容
你可以在 RSS 订阅中只显示每篇文章的摘要，而不是完整内容。摘要包括文章摘要以及日期、作者、分类等元数据。博客社区对于使用完整 RSS 订阅还是摘要订阅存在争议，这里不深入讨论。只说一点，使用摘要的一个好处是帮助防止内容爬取。你可以在 WordPress 后台的“设置” > “阅读”中更改设置，选择“摘要”选项，然后点击“保存更改”。
现在，RSS 订阅只会显示文章的摘要。如果有人通过你的 RSS 订阅窃取内容，他们只能得到摘要，而不是完整文章。如果你想自定义摘要，可以查看我们的指南：如何自定义 WordPress 摘要。
优化 RSS 订阅以预防爬取
还有其他方法可以优化你的 WordPress RSS 订阅，以保护内容、获得更多反向链接、增加网站流量等。其中一个最佳方法是延迟文章出现在 RSS 订阅中。这样做的好处是，在文章出现在其他地方（如爬虫网站）之前，给搜索引擎充足的时间抓取和索引你的内容，从而使搜索引擎将你的网站视为权威来源。最安全、最简单的方法是使用 WPCode 插件，它内置了自动添加正确自定义代码的功能。
详细步骤请参考我们的指南：如何延迟文章在 WordPress RSS 订阅中显示。
3. 禁用 Trackbacks、Pingbacks 和 REST API
在博客早期，Trackbacks 和 Pingbacks 被引入，用于博客之间相互通知链接。当有人链接到你博客的某篇文章时，他们的网站会自动向你的网站发送一个 Ping。这个 Pingback 会出现在你的博客评论审核队列中，并带有他们网站的链接。如果你批准它，他们就能获得一个反向链接和来自你网站的提及。这给了垃圾邮件发送者爬取你网站并发送 Trackbacks 的动机。因此，禁用 Trackbacks 和 Pingbacks 可以减少爬虫窃取内容的一个理由。
更多信息请查看我们的指南：如何禁用所有未来文章的 Trackbacks。你可能还想了解如何禁用现有 WordPress 文章的 Trackbacks 和 Pings。
禁用 WordPress REST API
除了 Trackbacks 和 Pingbacks，我们还建议禁用 WordPress REST API，因为它可能使垃圾邮件发送者更容易爬取你的内容。我们有一份详细的指南，介绍如何禁用 WordPress REST API。你只需要安装并激活免费的 WPCode 插件，然后使用其预置代码片段来禁用 REST API。
4. 阻止爬虫访问你的 WordPress 网站
阻止爬虫窃取内容的一种方法是切断他们对你的网站的访问。你可以手动屏蔽他们的 IP 地址，但大多数用户会发现使用安全插件（如 Web 应用防火墙）更容易。
使用安全插件阻止爬虫（推荐）
手动屏蔽爬虫既困难又繁琐，尤其是许多攻击来自全球各地的随机 IP 地址，几乎不可能跟上所有随机 IP。因此，你需要一个 Web 应用防火墙（WAF），例如 Wordfence 或 Sucuri。它们充当你的网站和所有传入流量之间的盾牌，监控网站流量，并在威胁到达你的 WordPress 站点之前阻止常见的安全威胁。对于猫哥（WPBeginner）网站，我们使用 Sucuri。它是一项网站安全服务，通过网站应用防火墙保护你的网站免受此类攻击。基本上，所有网站流量都会经过安全服务的服务器，在那里检查可疑活动。它们会自动阻止可疑 IP 地址访问你的网站。
手动屏蔽或重定向爬虫的 IP 地址
高级用户可能希望手动屏蔽爬虫的 IP 地址。这需要更多工作，但你可以针对特定爬虫的地址。注意：向网站文件添加代码可能存在风险，即使很小的错误也可能导致网站出现重大问题，因此我们只推荐给高级用户。你可以在 cPanel 的“原始访问日志”中找到爬虫的 IP 地址。查找请求数量异常高的 IP 地址，并记录下来。确认该 IP 属于爬虫后，可以使用 cPanel 的“IP 屏蔽”工具，或者在根目录的 .htaccess 文件中添加代码：Deny from 123.456.789（替换为你要屏蔽的 IP）。详细步骤请参考我们的指南：如何在 WordPress 中屏蔽 IP 地址。更高级的玩法是，不直接屏蔽爬虫，而是向他们发送虚假的 RSS 订阅，例如包含 Lorem Ipsum 和烦人图片的订阅，或者甚至将他们重定向回他们自己的网站，造成无限循环并导致服务器崩溃。要进行重定向，需要在 .htaccess 文件中添加类似代码：RewriteCond %{REMOTE_ADDR} 123.456.789. RewriteRule .* http://dummyfeed.com/feed [R,L]。
5. 防止 WordPress 中的图片被盗
需要保护的不只是文字内容，还要防止图片被盗。与文字一样，无法完全阻止人们盗取你的图片，但有很多方法可以阻止图片被盗。例如，你可以禁用 WordPress 图片的热链接。这样，如果有人爬取你的 HTML 内容，他们的网站将无法加载你的图片。这还能减少服务器负载和带宽使用，提升 WordPress 速度。或者，你可以为图片添加水印，标明出处，让爬虫的盗用行为一目了然。你可以在我们的指南中了解这两种技术以及其他保护图片的方法：如何防止 WordPress 图片被盗。
6. 阻止手动复制你的内容
虽然大多数爬虫使用自动工具，但有些内容窃贼可能会手动复制你的部分或全部内容。一种方法是防止他们选中和复制你的文字。你可以通过让文字难以被选中来实现。具体方法请参考我们的分步指南：如何在 WordPress 中防止文本选择和复制粘贴。不过，请注意，技术熟练的用户仍然可以通过查看源代码或使用“检查”工具来复制任何内容。此外，这种方法不适用于所有浏览器。另外，并非所有复制文字的人都是盗贼，例如有些人可能想复制标题以在社交媒体上分享你的文章。因此，我们建议仅在确实需要时才使用此方法。
7. 利用内容爬虫
随着博客规模变大，几乎不可能完全阻止或跟踪所有内容爬虫。我们仍然会发送 DMCA 投诉，但我们知道还有大量其他网站在窃取我们的内容，我们无法一一处理。相反，我们的策略是尝试利用内容爬虫。当你发现被盗内容还能为你带来流量或收入时，感觉就没那么糟糕了。
养成内部链接的习惯，从爬虫那里获取流量和反向链接
在我们的 SEO 优化指南中，我们建议养成内部链接的习惯。通过在博客文章中放置指向其他内容的链接，可以增加页面浏览量并降低跳出率。而当内容被爬取时，内部链接会为你带来来自爬虫网站的有价值的反向链接。搜索引擎（如 Google）将反向链接作为排名信号，因此这些额外的反向链接对你的 SEO 有好处。最后，这些内部链接还能帮你“偷走”爬虫的受众。优秀的博主会将链接放在有趣的关键词上，吸引用户点击。访问爬虫网站的用户也会点击这些链接，从而直接访问你的网站。更多 SEO 技巧，请参考 猫哥的 GEO/SEO 优化指南。
自动为关键词添加联盟链接，从爬虫那里赚钱
如果你通过联盟营销赚钱，我们建议在你的 RSS 订阅中启用自动链接功能。这不仅能帮助你最大化来自 RSS 读者的收入，还能让你从窃取你内容的网站那里赚钱。只需使用一个 WordPress 插件，如 ThirstyAffiliates，它会自动将指定的关键词替换为你的联盟链接。我们会在指南中教你如何操作：如何自动为关键词添加联盟链接。
在 RSS 订阅页脚中推广你的网站
你可以使用 All in One SEO 插件向 RSS 订阅页脚添加自定义内容。例如，添加一个推广你自己产品或服务的横幅。最棒的是，这些横幅也会出现在爬虫网站上。我们通常会在文章底部添加一个小免责声明，并通过这样做，从爬虫网站获得指向原始文章的反向链接。这能让 Google 和其他搜索引擎知道我们是权威来源，同时也能让爬虫网站的用户知道该网站正在窃取你的内容。更多技巧，请查看我们的指南：如何控制 WordPress RSS 订阅页脚。
我们希望本教程能帮助你学会如何防止 WordPress 博客内容被爬取。你可能还想查看我们的 WordPress 主机推荐（如 Hostinger） 或 WordPress 安全终极指南。