问题:网站的 css 文件需要写进 robots 文件吗?
回答:通常来说网站的css文件不需要被搜索引擎收录,因为收录了css文件对 网站优化 并没有实际的帮助。但是即便如此,搜索引擎还是会去抓css文件问题的,所以写不写进robots文件,其实没有根本的区别。
大家在网上搜索相关资料的话,应该能够看到有人会说搜索引擎不会去抓css文件以及js文件等,事实上现在像百度这些搜索引擎是会去抓取的。css文件包含了页面样式的代码,搜索引擎在判断页面质量的时候,也会考虑到页面布局,也就是说,搜索引擎必须去抓取css文件。至于收录的问题,原则上搜索引擎是能够区分这些文件,并且不会收录到数据库的。从这个方面来说,把css文件写进robots意义也不大。当然,如果大家觉得实在不放心,在robots里禁止抓取css文件也是可以的。只是搜索引擎是否完全遵循这个协议,就难说了。但是可以肯定的是,搜索引擎不会去收录css文件。
关于网站的css文件是否需要写进robots里的问题,笔者就简单的说这么多。总之来说,网站css文件是否写进robots文件,区别并不大。而且css只是一个文件,即便蜘蛛去抓取,也不会浪费什么抓取份额。另外,搜索引擎也不会主动收录css文件,所以,所以对于css文件,想写进robots文件就写,不写也没有关系。