Posts Tagged robots
Google对robots.txt的解释
除非绝对必要，否则Google的John Mueller建议不要以多种语言创建太多页面。
该建议是在Reddit上提供的，以响应r / TechSEO中的某个线程，其中有人在寻求有关hreflang的帮助。
”我有一个国际站点正在为一个客户管理，该站点的页面被索引为不同的语言。问题是某些页面仍然是英文（例如：example.com/ru仍然有英文内容）。
由于X默认值是英语，因此不需要这些其他URL，但是不幸的是，随着添加新内容，它们会被创建并建立索引，唯一的区别是URL。
阅读Google的指南（如果我没有正确理解的话，我可能没有），他们建议在robots.txt文件中屏蔽这些URL，但是应该删除，重定向，规范化或未索引这些已被索引的页面吗？我很沮丧，所以我们将不胜感激。”
约翰·穆勒（John Mueller）的回应
Mueller说，绝对不能在robots.txt中禁止阻止已经创建的页面。如果不允许他们进行爬网，那么Google将根本无法对其进行规范化。
“我有一个国际站点正在为一个客户管理，该站点的页面被索引为不同的语言。问题是某些页面仍然是英文（例如：example.com/ru仍然有英文内容）。由于X默认值是英语，因此不需要这些其他URL，但是不幸的是，随着添加新内容，它们会被创建并建立索引，唯一的区别是URL。阅读Google的指南（如果我没有正确理解的话，我可能没有），他们建议在robots.txt文件中屏蔽这些URL，但是应该删除，重定向，规范化或未索引这些已被索引的页面吗？我很沮丧，所以我们将不胜感激。”
约翰·穆勒（John Mueller）的回应
Mueller说，绝对不能在robots.txt中禁止阻止已经创建的页面。如果不允许他们进行爬网，那么Google将根本无法对其进行规范化。当将hreflang混入其中时，事情可能会变得过于复杂，Mueller解释说：
“使用hreflang可以轻松挖掘出无穷的复杂性。“让我们创建所有语言！让我们为所有国家/地区制作页面！如果日本某人想用斯瓦希里语阅读该怎么办？让我们做更多的页面！” 我的猜测是，这些“页面的创建是因为您可以”获得的流量很少，增加的价值也很少，而且它们会增加大量的开销（爬网，索引，规范化，排名，维护，hreflang，结构化数据等）。”
理想情况下，网站所有者应将多语言页面的数量限制为网站实现其目标所必需的页面。
“我的建议是首先将您创建的页面数量限制为绝对关键和有价值的页面，也许已经减少了您正在考虑的页面。在这里大胆思考；如果您谈论的是中型网站中的各个页面，则可能不是问题。另一方面，如果您正在考虑将整个网站复制到20种语言x 10个国家/地区，那便是另一回事。”
特别是对于hreflang，Mueller建议重点关注接收错误语言流量的页面。
“过去，对于hreflang，我首先将重点放在您看到错误语言流量的页面上-通常这些页面会收到很多全球性品牌查询，因此很难确定他们想要的语言内容。搜索“ google”可以匹配很多语言页面，hreflang可以帮助区分。另一方面，对“搜索引擎”的搜索非常清晰，并且与您已经在其中撰写的有关“搜索引擎”的页面相匹配，因此诸如此类的页面不需要以语言为目标的帮助。”
最后，穆勒（Mueller）指出，很难确定如何在“随处随便做”方法与“省力省思”方法之间取得平衡。