一般情况下,在我们为网站安装好wordpress程序后,wordpress会网站根目录自动为我们的网站创建一个robots.txt文件
我们可以看到,wordpress程序只是为网站的robots.txt文件添加了3句简单的代码:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
从上面的代码中,wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录,但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。
总结WordPress全部robots.txt配置
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /articles/*/feed
注意事项:
避免收录WordPress系统文件
避免收录重复的内容
正确引导搜索引擎找到网址地图
以上仅供参考
文章版权声明:除非注明,否则均为猫屋博客MAOWUO.CN原创文章,转载或复制请以超链接形式并注明出处。
还没有评论,来说两句吧...