Robots.txt-CSS允许或不允许

robots.txt中允许使用CSS和模板吗？

应该引起什么问题吗？

在Joomla中，robots.txt中不允许使用CSS和模板。请帮助我找到一个解决方案，以决定是否禁止即将发布的网站的CSS，模板等机器人使用。

Google最近更新了其准则，正式声明您不应阻止访问robots.txt中的 CSS或JS文件。这样可以确保Google在抓取该网站时可以完全像浏览器一样呈现它。

如果阻止CSS或JS文件，则可能会损害您的网站在排名中的表现。

此处提供更多信息：更新我们的技术网站管理员指南，以及此处：网站管理员指南

由于这是最近的建议，因此许多网站和CMS（例如Joomla）通常会在robots.txt中阻止此类文件。其背后的原因通常是搜索引擎不需要对这些文件进行爬网或编制索引，因此要阻止不必要的文件和目录被编制索引并节省“爬网预算”，通常会在robots.txt中将其阻止。

你的战略的robots.txt其中我的网页的部分：应始终对这个问题回答不能由机器人抓取和哪些部分可以由机器人抓取。

机器人实现自己的逻辑并具有多种用途（不仅Google拥有抓取工具...），因此，如果您假设某个机器人被CSS和JS文件“分散了注意力”，则打开机器人的黑匣子并假设机器人的当前实现和当前意图是。这不是有用的长期策略。

与其去思考机器人的领域，不如去思考您网站的内容领域。

我想指出，robots.txt文件不是安全机制。

模板由博客或内容管理软件（CMS）应用程序使用，并且不应在外部被浏览器和搜索引擎读取CSS的位置访问，并且应该被读取。话虽如此，我不会阻止任何一个，但是我也不会更改CMS所做的任何更改。搜索引擎和漫游器不关心您的模板。只是通过您不想索引或读取但不想将robots.txt视为安全工具的URL / URI来阻止对网站的访问。它不是为此设计的。