目录
什么是技术性SEO？
技术SEO是指能帮助搜索引擎找到、抓取、理解和索引您的页面的搜索引擎优化。其目标是被发现并提高排名。
技术性SEO有多复杂？
这取决于。基本原理并不难掌握，但技术性SEO可能会很复杂，难以理解。在本指南中，我会尽量保持简单。
在本章中，我们将介绍如何确保搜索引擎能够高效地抓取您的内容。
爬虫是如何工作的
爬取是指搜索引擎从网页抓取内容，并利用其中的链接找到更多的页面。您可以通过几种方式控制搜索引擎对您网站上的内容进行爬取。以下是一些选项。
Robots.txt
robots.txt文件告诉搜索引擎它们可以访问您网站的哪些部分，以及哪些部分是禁止访问的。
你知道吗？
Google可能会索引无法爬取的页面，如果有链接指向这些页面。这可能会让人困惑，但如果你想阻止页面被索引，请查看这个指南和流程图，它可以指导你完成整个过程。
爬取速率
robots.txt 中有一个 crawl-delay 指令，许多网络爬虫都支持。它允许你设置它们可以爬取页面的频率。不幸的是，Google 不尊重这一点。1 对于 Google，你需要在 Google 搜索控制台中更改爬取速率。2
访问限制
如果您希望页面对某些用户可访问，但对搜索引擎不可见，那么您可能需要以下三个选项中的一个：
- 一种登录系统
- HTTP身份验证（需要密码才能访问）
- IP白名单（只允许特定IP地址访问页面）
这种设置最适合内部网络、会员专属内容，或者用于分期、测试或开发网站。它允许一组用户访问页面，但搜索引擎将无法访问页面，也不会对其进行索引。
如何查看抓取活动
对于谷歌来说，查看其抓取的最简单方法是使用“抓取统计”报告在谷歌搜索控制台中，该报告可以提供有关其如何抓取您的网站的更多信息。
如果您想查看网站上的所有抓取活动，那么您需要访问服务器日志，并可能使用工具来更好地分析数据。这可能会变得相当复杂。但是，如果您的托管服务提供了像cPanel这样的控制面板，您应该可以访问原始日志和一些聚合器，比如AWstats和Webalizer。
爬取调整
每个网站都会有不同的抓取预算，这是谷歌想要多频繁抓取网站以及你的网站允许抓取的结合。更受欢迎的页面和经常变化的页面将更频繁地被抓取，而不受欢迎或链接较少的页面将被较少抓取。
如果网络爬虫在抓取您的网站时发现迹象表明网站存在压力，它们通常会减慢甚至停止抓取，直到条件改善。
页面被爬取后，它们会被渲染并发送到索引。索引是可以返回搜索查询结果的页面的主列表。让我们来谈谈索引。
在本章中，我们将讨论如何确保您的页面被索引，并检查它们的索引方式。
机器人指令
robots meta标签是一个HTML片段，告诉搜索引擎如何爬取或索引某个页面。它被放置在网页的<head>部分，看起来像这样：
<meta name="robots" content="noindex" />
规范化
当同一个页面存在多个版本时，谷歌会选择一个版本存储在其索引中。这个过程称为规范化，被选为规范化的URL将会是谷歌在搜索结果中显示的URL。谷歌用许多不同的信号来选择规范化的URL，包括：
使用URL检查工具在Google搜索控制台中，可以最轻松地查看Google如何索引页面。它将显示Google选择的规范URL。
对于SEO人员来说，最困难的事情之一就是优先级排序。有很多最佳实践，但有些变化对你的排名和流量的影响会比其他变化更大。以下是我建议优先考虑的一些项目。
检查索引
确保您希望用户找到的页面可以在Google中被索引。前两章都是关于抓取和索引的，这并非偶然。
您可以在站点审计中查看可索引性报告，以找到无法被索引的页面及其原因。在Ahrefs网站管理员工具中免费使用。
恢复丢失的链接
网站往往会在多年后更改它们的URL。在许多情况下，这些旧的URL被其他网站链接。如果它们没有重定向到当前页面，那么这些链接就会丢失，不再计入您的页面。现在进行这些重定向并不算晚，您可以迅速恢复任何丢失的价值。把它看作是您将要进行的最快速的链接建设。
你可以使用Ahrefs的网站探测器找到重新获取丢失链接的机会。输入你的域名，转到最佳链接报告，并添加“404未找到”HTTP响应过滤器。我通常会按“引用域”进行排序。
这是 1800flowers.com 的外观：
查看archive.org中的第一个URL，我发现这是以前的母亲节页面。通过将该页面重定向到当前版本，您将从59个不同的网站中重新获得225个链接，并且还有更多的机会。
你需要将任何旧的URL重定向到它们当前的位置，以恢复这部分价值。
你知道吗？
301 重定向是永久重定向。指向重定向 URL 的任何链接都将被谷歌视为指向新 URL。3
添加内部链接
内部链接 是指从您网站的一个页面链接到另一个页面的链接。它们有助于发现您的页面，也有助于页面更好地排名。我们在 网站审计 中有一个名为内部链接机会的工具，可以帮助您快速找到这些机会。
这个工具的工作原理是查找您网站已经排名的关键词提及，然后将其建议为上下文内部链接的机会。
例如，该工具在我们的重复内容指南中显示了“分面导航”的提及。由于站点审核知道我们有关于分面导航的页面，它建议我们向该页面添加内部链接。
添加模式标记
Schema标记是一种代码，可以帮助搜索引擎更好地理解您的内容，并支持许多功能，可以帮助您的网站在搜索结果中脱颖而出。Google有一个搜索画廊，展示了各种搜索功能以及您网站所需的Schema标记，以符合资格要求。
本章将讨论的项目都是值得关注的好事，但可能需要更多的工作，收益也可能比上一部分的“快速成功”项目少。这并不意味着你不应该去做它们。这只是为了帮助你了解如何对各种项目进行优先级排序。
页面体验信号
这些是较低级别的排名因素，但仍然是您希望关注的事项，以便为用户着想。它们涵盖了影响用户体验（UX）的网站方面。
核心 Web 要素
核心 Web 体验指标是谷歌页面体验信号的一部分，用于衡量用户体验的速度指标。这些指标包括Largest Contentful Paint (LCP)用于测量视觉加载，Cumulative Layout Shift (CLS)用于测量视觉稳定性，以及First Input Delay (FID)用于测量交互性。
HTTPS
HTTPS 保护浏览器和服务器之间的通信，防止被攻击者拦截和篡改。这为当今绝大部分的互联网流量提供了保密性、完整性和认证。您希望页面通过 HTTPS 而不是 HTTP 加载。
任何在地址栏显示“锁”图标的网站都在使用HTTPS。
移动友好性
简单来说，这检查网页是否能够正确显示，并且是否易于在移动设备上使用。
如何知道您的网站在移动设备上的友好程度？请查看Google Search Console中的“移动设备可用性”报告。
这份报告会告诉您是否有任何页面存在移动友好性问题。
插页广告
插页广告会阻挡内容的显示。这些是覆盖主要内容的弹出窗口，用户可能需要与其交互才能关闭。
Hreflang — 用于多种语言
Hreflang 是一个用于指定网页语言和地理定位的 HTML 属性。如果您在不同语言中有同一页面的多个版本，您可以使用 hreflang 标签告诉谷歌等搜索引擎这些变体。这有助于它们向用户提供正确的版本。
常规维护/网站健康
这些任务可能不太可能对您的排名产生太大影响，但通常是为了改善用户体验而修复的好事情。
链接损坏
损坏的链接是指指向不存在资源的网站链接。这些链接可以是内部链接（即指向您域上的其他页面）或外部链接（即指向其他域上的页面）。
您可以在Ahrefs网站分析的链接报告中快速找到网站上的损坏链接。在Ahrefs网站管理员工具中免费使用。
重定向链
重定向链是指在初始 URL 和目标 URL 之间发生的一系列重定向。
您可以在Ahrefs网站分析的重定向报告中快速找到您网站上的重定向链。在Ahrefs网站管理员工具中免费使用。
这些工具可以帮助您改善网站的技术方面。
Google Search Console（之前称为Google网站管理员工具）是谷歌提供的免费服务，帮助您监控和解决网站在搜索结果中的显示问题。
用它来查找和修复技术错误，提交站点地图，查看结构化数据问题等。
Bing 和 Yandex 都有自己的版本，Ahrefs 也有。Ahrefs Webmaster Tools 是一个免费工具，可以帮助您改善网站的 SEO 性能。它允许您：
- 监控您网站的SEO健康状况。
- 检查100多种SEO问题。
- 查看所有反向链接。
- 查看您排名的所有关键词。
- 了解您的页面收到了多少流量。
- 寻找内部链接机会。
这是我们对谷歌搜索控制台限制的答复。
Google 的移动友好测试检查访问者在移动设备上使用您的页面的便捷程度。它还会识别特定的移动可用性问题，比如文字太小无法阅读，使用不兼容的插件等。
移动友好测试显示谷歌在抓取页面时看到的内容。您还可以使用丰富结果测试来查看谷歌在桌面或移动设备上看到的内容。
Chrome DevTools 是 Chrome 内置的网页调试工具。使用它来调试页面速度问题，改善网页渲染性能等。
从技术SEO的角度来看，它有无尽的用途。
它的免费功能包括：
- 网页内部SEO报告
- 带有HTTP标头的重定向跟踪器
- 错链检查器
- 链接高亮显示器
- 搜索引擎结果页面排名
此外，作为Ahrefs用户，您将获得：
- 每个您访问的网站和页面的SEO指标以及Google搜索结果的SEO指标
- 在搜索引擎结果页面（SERP）中直接查看搜索量和关键词难度等关键词指标
- SERP结果导出
PageSpeed Insights 分析您网页的加载速度。除了性能得分，它还显示可操作的建议，以使页面加载更快。
主要收获
- 如果您的内容没有被索引，那么它就不会在搜索引擎中被找到。
- 当影响搜索流量的内容出现问题时，修复它可能是一个优先事项。但对于大多数网站来说，您可能更好地花时间在内容和链接上。
- 许多具有最大影响的技术项目都与索引或链接有关。
参考资料
- “Googlebot 是否会忽略爬取延迟规则？”. Google 搜索中心. 2017年12月21日
- “更改 Googlebot 爬取速率”. Google. 检索于2022年9月9日
- “30x 重定向不再丢失 PageRank”。Gary Illyes. 2016年7月26日