目錄
什麼是技術性SEO？
技術性SEO是指幫助搜索引擎找到、爬取、理解和索引您的網頁的搜索引擎優化。其目標是被找到並提高排名。
技術性SEO有多複雜？
這取決於情況。基本原理並不難掌握，但技術性SEO可能會很複雜，難以理解。在這個指南中，我會盡量保持簡單。
在這一章中，我們將介紹如何確保搜索引擎能夠有效地爬取您的內容。
爬蟲的運作原理
爬蟲是指搜索引擎從網頁上抓取內容，並利用其中的鏈接來尋找更多的網頁。您可以通過幾種方式來控制搜索引擎對您網站上的內容進行爬取。以下是一些選項。
Robots.txt
一個 robots.txt 檔案告訴搜索引擎他們在您的網站上可以和不能去的地方。
你知道嗎？
Google 可能會索引無法爬取的頁面，如果有連結指向這些頁面。這可能會讓人感到困惑，但如果你想要防止頁面被索引，可以查看這個指南和流程圖，它可以引導你完成整個過程。
爬蟲速率
robots.txt 中有一個 crawl-delay 指令，許多爬蟲程式都支援。它可以讓你設定爬蟲程式爬取網頁的頻率。不過，Google 不遵守這個設定。1 若要調整 Google 的爬取速率，你需要在 Google 搜尋控制台中進行更改。2
存取限制
如果您希望該頁面對某些用戶可訪問，但對搜索引擎不可訪問，那麼您可能需要以下三個選項中的一個：
- 一種登錄系統
- HTTP 認證（需要密碼才能訪問）
- IP 白名單（僅允許特定 IP 地址訪問頁面）
這種設置最適合內部網絡、僅限會員的內容，或者用於分期、測試或開發網站。它允許一組用戶訪問頁面，但搜索引擎將無法訪問該頁面，也不會對其進行索引。