想要做好网站seo优化，提升网站关键词排名，那么我们就要做好网站的方方面面，集中网站的权重，这样才能将网站关键词排名优化上去，而在网站seo优化时，我们常常会用到robots，可能有些人对于这个不是很了解。今天水源智库小编就为大家详细介绍一下网站seo优化中的robots是什么？有什么作用？
网站seo优化中的robots.txt是一个纯文本文件，主要的作用是让我们用来声明网站中不想被搜索引擎抓取访问的部分，或者是用来指定搜索引擎只能访问且收录的内容页面。
说的简单一点，robots.txt文件就是为了让我们集中网站的权重，屏蔽掉一些对网站关键词排名优化没什么作用的页面、文件，从而增加蜘蛛抓取的效率，提升页面的收录量，提升网站的权重与排名。
各大搜索引擎蜘蛛的名称和写法如下：
1、百度蜘蛛：Baiduspider
2、谷歌蜘蛛：Googlebot ，Googlebot-Mobile
3、360蜘蛛：360Spider
4、SOSO蜘蛛：Sosospider
5、雅虎蜘蛛：Yahoo! Slurp China
6、有道蜘蛛：YoudaoBot
7、搜狗蜘蛛：Sogou News Spider
8、MSN蜘蛛：msnbot，msnbot-media
9、必应蜘蛛：bingbot
以上就是网站seo优化中的robots的作用与介绍，通常我们一般需要屏蔽的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片、js、css等等。如果大家还有什么不懂的，可以水源智库，里面有丰富的seo优化知识供大家参考。
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/170177.html