wordpress网站的robots文件怎么写可以让蜘蛛友好的爬取?

我们可以看到,wordpress程序只是为网站的robots.txt文件添加了3句简单的代码:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

从上面的代码中,wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录,但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。

总结WordPress全部robots.txt配置

User-agent: *  Disallow: /wp-admin/  Disallow: /wp-includes/  Disallow: /wp-content/plugins  Disallow: /wp-content/themes  Disallow: /feed  Disallow: /articles/*/feed

注意事项:避免收录WordPress系统文件,避免收录重复的内容,正确引导搜索引擎找到网址地图

以上仅供参考


相关文章

您需要 登录账户 后才能发表评论

发表评论 取消回复

电子邮件地址不会被公开。 必填项已用*标注