wordpress网站的robots文件怎么写可以让蜘蛛友好的爬取？

一般情况下，在我们为网站安装好wordpress程序后，wordpress会网站根目录自动为我们的网站创建一个robots.txt文件

我们可以看到，wordpress程序只是为网站的robots.txt文件添加了3句简单的代码：

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

从上面的代码中，wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录，但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。

总结WordPress全部robots.txt配置

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /feed

Disallow: /articles/*/feed

注意事项：

避免收录WordPress系统文件

避免收录重复的内容

正确引导搜索引擎找到网址地图

以上仅供参考