以下是您在设置自己的 文件时应遵循的一些专业 SEO 提示。

首先,请研究并了解您不想探索的网站区域。阿尔巴尼亚电话号码表 ,不要只是复制或重复使用他人的 robots.txt 文件。始终将您的 robots.txt 文件放在网站的根目录中,以便搜索引擎爬虫可以轻松找到它。请勿将文件命名为“robots.txt”以外的任何名称,因为它区分大小写。始终在 robots.txt 中指定您的站点地图 URL,因为这有助于搜索引擎爬虫更轻松地找到您的网站页面。不要在 robots.txt 中隐藏私人信息或未来事件页面。由于它是一个公共文件,任何用户都可以通过在您的域名后添加 /robots.txt 来访问您的 robots.txt 文件。任何人都可以看到您要隐藏的页面;因此建议不要使用 robots.txt 隐藏敏感页面为属于您的根域的每个子域创建一个专用的、个性化的 robots.txt 文件。在您上线之前,请确保您没有阻止任何您不想要的内容。始终使用

测试工具测试和验证您的 robots.txt 文件,以查找错误并查看您的指令是否真的有效。

Googlebot 不会跟踪通过 robots.txt 阻止的网页上的任何链接 阿尔巴尼亚电话号码表 因此,请确保被阻止页面上的重要链接也链接到您网站上的其他页面。配置 robots.txt 文件时,请注意被阻止的页面不会将任何链接资产传递给它们链接到的页面。不要将 robots.txt 文件中被阻止的页面与您网站上的其他页面链接。如果链接,Google 最终将通过内部链接抓取这些页面。确保您的 robots.txt 文件格式正确。必须在新行上定义每个指令 在允许或禁止时保持 URL 区分大小写 不要使用除 * 和 $ 以外的其他特殊字符 使用 # 来添加注释以清楚起见。爬虫不考虑带有字符的行 #您应该使用 robots.txt 文件隐藏的页面类型 分页页面 页面查询参数的变化 帐户或个人资料页面 管理页面篮 感谢页面 使用 robots.txt 阻止未链接的页面任何地方并且不被索引。网站管理员在设置 robots.txt 时经常出错。这些将在另一篇文章中介绍。检查它并确保避免它们 – 常见的 robots.txt 错误机器人标签

文件将告诉爬虫仅它可以爬取网站的哪些区域。但是,它不会告诉机器人它是否可以索引。

阿尔巴尼亚电话号码表

为了帮助您,您可以使用机器人标签来指导爬虫进行索引和许多其他功能。有两种类型的机器人标签:Meta Robots 标签和 X-robots 标签。 标签是一段 HTML 代码,阿尔巴尼亚电话号码表 ,它告诉搜索引擎如何抓取或索引某个页面。它位于网页的 <head> 部分。这是一个 属性对于 name 属性,定义的值是机器人,即(Googlebot、MSNbot 等)。您可以将值设置为 robots,如上例所示,这意味着该指令将适用于所有类型的爬虫。内容属性 在内容字段中可以设置不同类型的值。 content 属性告诉爬虫他们应该如何爬取和索引页面上的信息。如果没有可用的 robots 元标记,爬虫会将其解释为索引并默认遵循。这里是 content 属性 all 的不同类型的值——这个指令告诉爬虫,爬取和索引没有限制。这与索引的作用相同,请遵循指南。 index – 索引指令指示允许爬虫索引页面。这是默认考虑的。您无需将其添加到页面中即可对其进行索引。  告诉爬虫不要索引页面。如果该页面已被索引,该指令将要求爬虫从索引中删除该页面。 follow – 告诉搜索引擎关注页面上的所有链接并传递链接权益

Leave a comment

Your email address will not be published.