共计 3382 个字符，预计需要花费 9 分钟才能阅读完成。
很多 WordPress 站长询问有关如何优化 robots.txt 文件以改善 SEO。
Robots.txt 文件用于告诉搜索引擎如何抓取网站，这使其成为功能强大的 SEO 工具。
在本教程中，我们将介绍如何基于 SEO 创建一个完美的 robots.txt 文件。
什么是 robots.txt 文件?
Robots.txt 是站长可以创建的文本文件，用于告诉搜索引擎蜘蛛如何抓取网站页面并将其编入索引。
它通常存储在网站的根目录 (也称为主文件夹) 中。robots.txt 文件的基本格式如下所示：
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
您可以使用多行说明来允许或禁止使用特定的 URL 及添加多个站点地图。如果您不禁止 URL，则搜索引擎蜘蛛会默认认为其支持爬取。
下面是一个 robots.txt 文件示例：
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
在上面的 robots.txt 示例中，我们允许搜索引擎对 WordPress 上传文件夹中的文件进行爬取和编制索引。
在那之后，我们不允许搜索引擎蜘蛛爬取和索引插件目录和 WordPress 管理目录。
最后，还提供了 XML 网站地图的 URL。
WordPress 网站是否需要 Robots.txt 文件?
如果网站没有 robots.txt 文件，则搜索引擎会抓取您的网站并为其编制索引。但是，您将无法告诉搜索引擎不应该抓取哪些页面或文件夹。
当您第一次创建博客且内容不多时，这不会产生太大影响。
但是，随着网站的发展和内容越来越丰富，您可能希望更好地控制网站的蜘蛛爬取行为和索引方式。
这就是为什么。
搜索引擎蜘蛛对每个网站都有一个爬取配额。
这意味着它们在爬网会话期间对一定数量的页面进行爬网。如果他们还没有完成对您网站上所有页面的爬取，那么他们将返回并在下一个会话中继续爬取。
这可能会降低您的网站索引率。
温馨提示：你可以通过安装搜索引擎蜘蛛分析插件来进一步了解各大搜索引擎蜘蛛是如何爬取你的网站。
您可以通过禁止搜索引擎阻止其爬网不必要的页面 (如 WordPress 管理页面，插件文件和主题文件夹) 来解决此问题。
通过禁止不必要的页面，可以节省蜘蛛爬取配额。这有助于搜索引擎在您的网站上抓取更多页面，并尽快为其建立索引。
使用 robots.txt 文件的另一个很好的理由是，当您需要禁止搜索引擎将您网站上的文章或页面编入索引时。
这不是向公众隐藏内容的最安全方法，但是它将帮助您阻止部分内容出现在搜索结果中。
什么是理想的 Robots.txt 文件?
许多流行的博客使用非常简单的 robots.txt 文件。它们的内容可能会有所不同，具体取决于特定站点的需求：
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
该 robots.txt 文件允许所有搜索引擎蜘蛛为所有内容建立索引，并为它们提供网站 XML 站点地图的链接。
对于 WordPress 网站，我们建议在 robots.txt 文件中使用以下规则：
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
告诉搜索引擎将所有 WordPress 图像和文件编入索引。同时，不允许搜索引擎将 WordPress 插件文件，WordPress 管理区域，WordPress 自述文件和会员链接编入索引。
通过将站点地图添加到 robots.txt 文件，您可以使搜索引擎蜘蛛轻松找到您网站上的所有页面。
既然您已经知道理想的 robots.txt 文件是什么样子，那么让我们看一下如何在 WordPress 中创建 robots.txt 文件。
如何创建 WordPress 网站的 Robots.txt?
有两种方法可以在 WordPress 中创建 robots.txt 文件。您可以选择最适合您的方法。
方法 1：使用 Smart SEO Tool 来编辑 Robots.txt 文件
Smart SEO Tool，是我们自主开发的 WordPress SEO 插件，易于使用，并附带 robots.txt 文件编辑支持。
如果您尚未安装 Smart SEO Tool 插件，则需要安装并启用插件。
然后可以直接在 WordPress 管理后台进入插件设置界面来创建和编辑 robots.txt 文件。
转到“设置»Smart SEO Tool”，选择 robots.txt 选项标签。
首先你需要启用“Robots.txt”，切换为蓝色来打开编辑选项。
启用此选项后，您可以创建自定义 robots.txt 文件。
插件将会下面显示默认的 robots.txt 文件，此版本为插件预设的默认规则(当前插件版本不支持删除默认规则，只允许添加新规则)
这些默认规则告诉搜索引擎不要抓取您的核心 WordPress 文件，允许蜘蛛为所有内容建立索引，并为它们提供指向网站的 XML 网站地图的链接。
现在，您可以添加自己的自定义规则，以改善针对 SEO 的 robots.txt。
要添加规则，可以在默认规则另起行添加，每行一条规则。你可以阅读“深入了解 Robots.txt 及如何规范地编写”
温馨提示：当用插件生成管理 robots.txt，请确保你的服务器根目录已经删除静态的 robots.txt。否则插件所编写的 robots.txt 是无效的。
完成后，请不要忘记单击“保存更改”按钮来存储您的更改。
方法 2. 使用 FTP 手动编辑 Robots.txt 文件
对于这种方法，您将需要使用 FTP 客户端或者宝塔控制面板来编辑 robots.txt 文件。
只需使用 FTP 客户端连接到您的 WordPress 网站托管的服务器帐户即可(或者登陆 WordPress 服务器的宝塔面板)。
进入服务器后，您将可以在网站的根文件夹找到 robots.txt 文件。
如果没有，则可能没有 robots.txt 文件。在这种情况下，您需要创建一个。
Robots.txt 是纯文本文件，这意味着您可以将其下载到计算机上，并使用任何纯文本编辑器 (如记事本或 TextEdit) 进行编辑。
保存更改后，将其上传回网站的根文件夹。
如何测试 Robots.txt 文件?
创建 robots.txt 文件后，最好使用 robots.txt 测试工具对其进行测试。
有很多 robots.txt 测试器工具，但我们建议您使用 Google Search Console 所提供的。
首先，您需要将网站与 Google Search Console 链接。
然后，使用 Google Search Console 蜘蛛测试工具。
只需从下拉列表中选择您的网站。
该工具将自动获取您网站的 robots.txt 文件，并突出显示错误和警告(如果发现)。
最后
优化 robots.txt 文件的目的是防止搜索引擎蜘蛛抓取不公开的页面。例如，您的 wp-plugins 文件夹中的页面或 WordPress admin 文件夹中的页面。
部分 SEO 专家甚至建议，阻止 WordPress 类别，标签和存档页面将提高爬网率，并导致更快的索引编制和更高的排名。
这不是真的。这也违反了 Google 网站站长指南。但，如果你的存档页面和标签页面不太重要时，倒真的可以阻止蜘蛛爬取。
我们建议您遵循上述 robots.txt 格式为您的网站创建 robots.txt 文件。希望本教程能帮助您学习如何基于 SEO 优化 WordPress 网站 robots.txt 文件。
