将robots.txt文件添加到我的WordPress网站
搜索引擎(如Google,Yahoo!和Bing)使用自动程序对您网站的页面和媒体文件进行爬网,以便对它们编制索引,以便它们可以在搜索结果中显示。如果您的网站上有robots.txt文件,则您可以设置不同的伪指令,以允许或拒绝对网站的特定分区进行爬网。防止漫游器对不太重要的页面和文件进行爬网有助于减少服务器负载。这也将防止漫游器在他们有机会浏览重要页面之前达到每个网站的爬网配额。
- 登录 WordPress。
- 安装并激活Yoast SEO插件。
- 在左侧菜单中,选择Yoast SEO ,然后选择Tools 。
- 选择File Editor (文件编辑器)。
- 在robots.txt下,选择创建robots.txt文件。将加载包含代码的新页面。这是Yoast创建的用于高级故障排除的网站开发者视图。您可以使用浏览器的后退按钮返回到WordPress控制面板。注意:如果您的网站上已经有了robots.txt文件,您可以编辑该文件。
当您返回到WordPress控制面板中的文件编辑器页面时,您将看到新创建的robots.txt文件。在服务器上,该文件位于WordPress网站的根文件夹中。
相关步骤
- 如果您想在您的网站上自定义robots.txt文件,请查看Google文档,获取Google爬网程序列表和更多关于文件语法的详细信息。
- 若要从网站删除robots.txt文件,请使用FTP或文件管理器连接至您的主机账户,找到WordPress安装安装的根文件夹,然后删除该文件。
更多信息
- 对于与Yoast SEO插件相关的问题,请查看插件开发人员的官方文档和支持论坛。
- Yoast的robots.txt旗舰版指南