wordpress网站的robots文件怎么写可以让蜘蛛友好的爬取?

猫屋博客

一般情况下,在我们为站安装好wordpress程序后,wordpress会网站根目录自动为我们的网站创建一个robots.txt文件

wordpress网站的robots文件怎么写可以让蜘蛛友好的爬取?,网站,网,代码,系统,WordPress,wordpress,第1张

我们可以看到,wordpress程序只是为网站的robots.txt文件添加了3句简单的代码

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

从上面的代码中,wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录,但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。

总结WordPress全部robots.txt配置

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /feed

Disallow: /articles/*/feed

注意事项:

避免收录WordPress系统文件

避免收录重复的内容

正确引导搜索引擎找到网址地图

以上仅供参考


文章版权声明:除非注明,否则均为猫屋博客MAOWUO.CN原创文章,转载或复制请以超链接形式并注明出处。

您需要 登录账户 后才能发表评论

发表评论

表情:
评论列表 (暂无评论,148人围观)

还没有评论,来说两句吧...

取消
微信二维码
微信二维码
支付宝二维码