跟我们聊聊: 获得(和保持)你的网站页面在谷歌索引可以是一个挑战，为新网站和网站 搜索引擎优化技术 或者内容质量问题. 本文旨在帮助您发现谷歌无法为站点建立索引的潜在原因. 有时问题可以快速解决, 然而, 有些时候，你必须深入挖掘，以揭示谷歌没有索引你所有的网页的真正原因.
如何检查你的网站谷歌的索引
为了首先确定您的页面(或整个网站)没有在谷歌中被索引, 遵循以下步骤:
- 使用“site:域”.com”查询 比如下面这个例子: 网站:skystitapetai.net. 这将显示谷歌在其搜索引擎中为某个域索引的大多数(但可能不是全部)url. 谷歌可能不会使用此查询显示您站点上索引的所有页面，因为该查询可以在谷歌的任意数量的数据中心执行, 它们都有不同的索引. 你可以看到或多或少的url索引您的网站与此查询在任何给定的一天. 提示:如果你的网站默认为“www”子域名版本，那么在你的域名前添加“www”. 这将只显示为该子域索引的url.
- 使用“site:域” inurl:
” query 比如下面这个例子: 网站:skystitapetai.net inurl: google-not-indexing-site. 这将显示谷歌是否索引了特定的页面. - 使用“site:域” filetype:
” 查询如下示例: 网站:skystitapetai.net文件类型:xml. 这将显示谷歌是否有一个为您的站点索引了特定文件类型的页面. - 检查”指数状态“谷歌搜索控制台”. 这个方便的报告将让你看到(一眼)你的网站上有多少页面被谷歌的搜索引擎索引. 它还可以显示有多少url被阻止或被删除. 所有三个指标都通过图表显示出来, 在一年的时间里, 随着时间的推移，这可以帮助监控您的网站在谷歌的索引.
- 检查”站点地图“谷歌搜索控制台”. 这是另一个有用的报告, 它将显示您的XML站点地图中有多少页面已提交给谷歌, 有多少被索引了. 类似于索引状态报告, 这个工具将显示一个月(而不是一年)时间内站点地图URL索引的时间轴.
找到更多谷歌搜索操作符的建议 here.
为什么谷歌不索引你的网站的常见原因
1. 响应码200以外(OK)
也许这是不言而喻的, 但是如果你的页面没有产生200 (OK)的服务器响应代码, 那就别指望搜索引擎会索引它们(或者如果它们曾经索引过的话，也会一直索引下去). 有时url会不小心被重定向, 根据CMS问题产生404或500个错误, 服务器问题, 或者用户错误. 做一个快速检查，以确保您的网页的URL加载正确. 如果子弹上膛了，你看到了，可能就没事了. 但是，你总是可以运行url HTTPStatus.io 来验证. 这是它的样子:
2. 通过机器人阻塞.txt
你的网站/机器人.TXT文件(位于http://www.域.com/robots.txt，例如)给谷歌它的抓取命令. 如果您的网站上的某个特定页面从谷歌的索引中缺失, 这是首先要检查的地方之一. 谷歌可能会显示一条消息“由于该站点的机器人，此结果的描述不可用.如果它之前在你的网站上索引了一个页面，现在被机器人屏蔽了.txt. 这是它的样子:
看看我的文章 如何编写机器人.txt文件 以获取更多关于优化这一SEO工作的重要元素的信息.
3. “Noindex”元机器人标签
Another common reason why a page on your site may not be indexed in Google is that it may have a “noindex” meta robots tag of sorts in the
of the page. 当谷歌看到这个元机器人标记时，这是一个明确的指令，它不应该索引页面. 谷歌将始终遵守此命令, 它可以有很多种形式，这取决于它的编码方式:- noindex,遵循
- noindex, nofollow
- noodp noindex,遵循
- noinde, nofollow noodp
- noindex
这是它的截图 in the
of a page:
要检查您的页面是否有“noindex”元机器人标签, view the source code and look for the code in the
. 如果你的网站是用javascript渲染的, then you may need to use the “Inspect Element” feature of Google Chrome to view the properly. 更多信息 here.4. “Noindex”X-Robots标签
类似于meta robots标签, X-robots标记通过页面级标记提供了使用谷歌控制索引的能力. 但是，此标记用于特定页面或文档的头响应. It is commonly used on non-HTML pages where there is no
, 例如PDF文件, DOC文件, 和其他网站管理员不希望出现在谷歌索引中的文件. 不太可能意外地应用了“noindex”X-robots标签, 但是，您可以使用 SEO网站工具 Chrome扩展. 这是它的截图.
5. 内部重复
内部 内容重复 对任何搜索引擎优化工作都有风险吗. 内部重复内容可能会或可能不会使您的页面脱离谷歌的索引, 但是，页面上大量的内部重复内容可能会影响它们的排名. 如果你有一个特定的页面，与你网站上的另一个页面有大量类似的内容, 这可能是你的页面没有在谷歌中被索引或排名不好的原因.
要检查内部重复内容，建议使用 Siteliner 工具抓取你的网站. 它将报告所有具有内部重复内容的页面, 突出显示复制的内容，以便于参考, 并且还为您提供一个简单的图形化视图，显示您的网站上有多少内容被复制.
谷歌清楚地说明 here 网站应该尽量减少类似的内容. 网站上内容非常相似的页面仍有可能在一定程度上排名靠前, 然而, 内容完全相同的页面可能会从谷歌的即时搜索结果中被过滤掉. 在下列通知下，它们可以从搜索结果中被省略.
6. 外部重复
外部复制内容就是你所期望的……与其他网站复制的内容. 大比例的重复内容是谷歌低质量的肯定标志, 无论如何都要避免. 不管你的网站是否是一个 潜在客户营销 网站, 电子商务商店, 在线出版 平台，或者爱好者博客……同样的规则适用.
判断你的内容是否与其他网站重复的一种方法是把一段内容放在引号中，然后搜索谷歌, 如 这个例子，显示家得宝的产品描述与许多其他网站重复. 注:由于家得宝的品牌权威, 审查内容和其他因素, 他们仍然有可能在谷歌的搜索结果与重复的内容排名很好. 然而, 不太权威的网站可能不会被完全索引，也不会因为重复的内容(如制造商提供的产品描述)而排名很好.
要检查外部重复内容，我建议使用 Copyscape 来抓取你的站点地图或特定的url集. 这个工具将提供一个非常有用的(和可导出的)报告，关于您的网站与外部网站的复制. 下面是它的截图(为了保护隐私，我客户的URL和标题信息被模糊化了).
7. 谷歌指数整体缺乏价值
也有可能是一个特定的页面，或你的网站作为一个整体，可以 糟透了 它不能为谷歌的索引提供足够的值. 例如, 只有动态生成广告的附属网站对用户没有什么价值. 谷歌已经改进了它的算法，以避免对这些网站进行排名(有时也避免索引). 如果你担心你的网站质量, 仔细查看它为谷歌的索引提供的唯一值, 哪些是其他网站尚未提供的.
8. 你的网站还是新的 & 未经证实的
新网站不会神奇地迅速被谷歌和其他搜索引擎索引. 它需要链接和其他信号，谷歌索引和排名网站(可见)在其搜索结果. 这就是为什么链接建设对新网站如此重要的原因.
9. 页面加载时间
如果你的网站页面加载缓慢, 它们不是固定的, 随着时间的推移，谷歌的排名可能会下降，该页面甚至可能从其搜索引擎索引中掉出来. 通常, 页面的排名将会下降, 但这几乎和根本没有索引一样糟糕.
要检查页面加载时间，可以使用 谷歌的页面速度洞察 工具或 GTMetrix工具. 下面是谷歌工具提供的一个报告示例的截图.
10. 孤立的页面
谷歌抓取您的网站(和XML站点地图)，以查找到您的内容的链接, 更新它的索引并影响你的网站在搜索结果中的排名(除其他因素外). 如果谷歌无法找到您的内容链接, 无论是在您的网站或外部网站, 那么它对谷歌不存在. 它不会被索引. 没有内部链接的页面称为“孤立页面”,，它们可能是谷歌指数化降低的原因. 以确定您的页面是否可被发现, 建议使用以下工具来抓取站点 尖叫的青蛙. 然后搜索特定的url. 这是一个例子.
一种更可靠的检查孤立页面的方法是从尖叫青蛙爬虫中导出url，并准备一个电子表格，将url与XML站点地图同步(假设它是准确的). 这将允许您立即识别所有url, 哪些是包含在XML站点地图中的, 但在爬行过程中没有被发现. 请记住，您的抓取设置可以指定抓取哪些url, 因此建议您有使用此工具的适当经验.
有疑问时，寻求帮助
对于一些人来说，这些东西太专业了，最好向咨询师咨询 SEO专家…像我一样🙂如果你被困住了，你需要确定你的时间有多宝贵. 花到深夜试图解决谷歌索引和排名将令人厌倦. 请记住，索引并不等于最佳排名. 一旦谷歌索引了你的网站, 内容质量, 链接配置文件和其他网站和品牌信号将决定你的网站排名如何. 但是，索引是SEO之旅的第一步.
