跟我们聊聊: 对于大型网站, 审计XML站点地图通常可以发现丢失的流量机会，并为搜索引擎提供更准确、更可靠的XML站点地图所需的洞察力. 花时间识别和修复XML Sitemap中的问题可能意味着您的网站将获得数千次访问, 并可能对收入产生显著影响. 这对任何精通网络的人来说都是一个简单的练习, 我将向你展示如何以一种可在大多数网站上重复的方式进行XML站点地图审计.
准确的XML站点地图的重要性
一个准确的XML站点地图的重要性已经由 Duanne Forrester (必应网站管理员工具的前负责人)在这个“周五白板”视频中与 兰德Fishkin (Moz创始人). 下面是Duanne说的:
如果你在这里给我看301, rel =礼服, 404错误, 所有这些, 我会开始不信任你的网站地图，我不会再为它烦恼了. 如果你向我传达你有新内容的方式是通过网站管理员工具中的功能提交网站地图, 你马上就给了我一些我已经学会不相信的东西，因为它的洁净度有问题. 人们认真对待这一点非常重要. 这不是一场火灾，然后就忘了.
目前尚不清楚Bing是否仍有同样的政策, 谷歌是否有类似的策略, 尽管存在这种不确定性, 审计你的网站地图将提供更多的好处，除了确保准确性. XML Sitemap审计通常可以帮助您识别以下情况, 这可能会阻碍你的网站最大的流量和收入潜力:
- 3XX重定向url(301, 302等.)
- 4XX客户端错误(404,410等.)
- 5XX服务器错误(500、502等.)
- 带有“noindex,follow”或“noindex,nofollow”元机器人标签的url
- Non-self-canonicalized url
执行XML站点地图审计
我将提供一个循序渐进的过程来帮助您审核XML Sitemap, 无论是你的网站, 公司网站, 或者是客户的网站. 您将需要以下工具来进行此类审计:
- 尖叫的青蛙 (或类似的爬行蜘蛛软件)
- 谷歌表 or Microsoft Excel
- 谷歌分析
步骤1:用尖叫青蛙抓取XML站点地图
以前，您需要导出XML文件并将其转换为CSV或 .TXT文件使用工具，如 Luxon软件XML到CSV转换器 为了复制url列表，爬行尖叫青蛙. 虽然这不是一个漫长的过程, 它确实给那些使用非常大的XML站点地图的站点带来了挑战, 它确实为这个过程增加了一个额外的步骤.
现在已经没有必要了, 然而, 因为尖叫青蛙可以自己爬这些url, 根据他们的 article:
您知道您不需要将XML站点地图转换为url列表以便我们对其进行抓取吗? 您可以简单地保存XML站点地图并以列表模式上传它，我们将自动抓取XML格式.
首先，转到XML站点地图URL并将页面保存为XML文件到您的计算机. 然后, 简单地切换“模式”在顶部导航菜单尖叫青蛙到“列表”模式, 点击尖叫青蛙顶部的“上传列表”按钮, 然后选择“From a File…”选项. 最后，将“文件格式”改为“XML文件”，然后选择您的XML文件.
继续使用scream Frog在XML站点地图中爬行url. 如果你有上千个url, 这可能需要一些时间, 所以去喝杯咖啡，或者做另一个项目，而尖叫蛙在背景中爬行.
步骤2:导出抓取数据
下一步是导出您的抓取数据. 类型的 内部(所有) data. 这份报告提供的数据比你需要的要多得多. 下面是您希望保留的列.
- URL地址
- 状态码
- Meta Robots标签
- 规范的URL
- 重定向URL
我更喜欢将抓取数据导出为CSV文件，然后导入到谷歌Sheets. 然而, 用于包含数万个以上url的大型XML站点地图, 表的性能可能会变慢. 在这种情况下，Excel将是首选的电子表格工具.
步骤3:导入抓取数据到谷歌表 & 准备数据
将CSV文件导入谷歌Sheets并删除所有不需要的列. 通常，您只需要上面列出的五种数据类型的列. 下面是一个简单的例子:
接下来，您需要准备用于分析的数据. 您可以添加一个“问题”列，以记录需要修复的内容. 下面是使用上面显示的相同数据的情况.
步骤3:导出谷歌分析数据 & 导入工作表
下一个, 我们希望看到在一段时间内每个URL(在XML Sitemap中)的流量指标. 只要数据是可管理的，我喜欢使用一年的数据进行分析.
请注意:这是有可能从谷歌分析数据，因为你爬的url与尖叫青蛙, 然而, 它可以让爬行的速度变慢一点. 有时, 它可以更快地从谷歌分析导出数据作为一个CSV文件, 将数据导入到电子表格的新选项卡中, 并使用VLOOKUP公式将流量数据同步到主工作表中的每个URL(按行).
下面是谷歌分析流量数据可以看起来像当拉到主工作表与其他数据，我们已经从尖叫青蛙爬行收集. 在这个例子中，我正在审查谷歌/有机“会话”和“收入”过去12个月. 数据已按“Sessions”重新排序，以便在工作表顶部列出流量最大的url(在12个月期间).
到现在为止, 你应该有足够的数据来做出有根据的决定，如何修复你的站点地图错误. 寻找这样的机会:
- 恢复应该呈现200状态码的页面, 而是生产3XX, 4XX或5XX错误
- 修复不正确的规范化url以改进索引
- 修正不准确的元机器人标签，以提高索引
- 从站点地图中删除url以提高准确性
- 等.
奖励步骤:从有问题的url统计流量指标
一眼就能看到所有XML Sitemap问题的流量指标是很有帮助的, 你是否要向客户汇报工作, 上层管理或只是试图解决自己的网站问题. 为了做到这一点，在你的电子表格中创建一个新选项卡，并设置如下格式:
下面是上面示例中各个列的公式. 由于我使用谷歌表，我的公式与Excel公式略有不同. 还要注意，我的XML Sitemap抓取数据位于“所有Sitemap url”工作表中.
url数量
=COUNTIF('所有站点地图url '!B: B美元,美元A2)
有机交通损失总额
=SUMIF('所有站点地图url '!$B:$B，$A2，'所有Sitemap url '!G:G)
有机收入损失总额
=SUMIF('所有站点地图url '!$B:$B，$A2，'所有Sitemap url '!H:H)
对你的数据采取行动
虽然现在知道XML Sitemap存在哪些错误是很好的, 如果不采取行动，什么都不会改变(包括流量和收入). 如果你的公司有一个开发团队, 他们可能会陷入困境，因为有大量全公司的问题需要解决. 这就是统计问题报告非常有用的地方. 它允许您量化在XML站点地图中修复问题的重要性(或不重要性).
而seo则追求完美, 重要的是要理解开发工作的优先级(基于对整个站点的影响)将决定问题修复的速度. 你越能证明对交通的影响, 以及最终的收入, 你就越能解决XML Sitemap问题.
祝你好运，请在评论区提出任何问题. 我很乐意回答这些问题!
