Inhalt
Was ist technisches SEO?
Technisches SEO ist Suchmaschinenoptimierung, die Suchmaschinen dabei hilft, Ihre Seiten zu finden, zu durchsuchen, zu verstehen und zu indexieren. Das Ziel ist es, gefunden zu werden und die Platzierungen zu verbessern.
Wie kompliziert ist die technische SEO?
Es kommt darauf an. Die Grundlagen sind nicht wirklich schwer zu meistern, aber technisches SEO kann komplex und schwer zu verstehen sein. Ich werde die Dinge in diesem Leitfaden so einfach wie möglich halten.
In diesem Kapitel werden wir behandeln, wie Sie sicherstellen können, dass Suchmaschinen Ihren Inhalt effizient durchsuchen können.
Wie das Crawlen funktioniert
Das Crawlen ist der Vorgang, bei dem Suchmaschinen Inhalte von Seiten erfassen und die Links auf ihnen verwenden, um noch mehr Seiten zu finden. Es gibt einige Möglichkeiten, wie Sie steuern können, was auf Ihrer Website gecrawlt wird. Hier sind ein paar Optionen.
Robots.txt
Eine robots.txt Datei informiert Suchmaschinen darüber, wo sie auf Ihrer Website gehen dürfen und wo nicht.
WUSSTEN SIE?
Google kann Seiten indexieren, die es nicht crawlen kann, wenn Links auf diese Seiten verweisen. Das kann verwirrend sein, aber wenn Sie möchten, dass Seiten nicht indexiert werden, werfen Sie einen Blick auf diesen Leitfaden und Flussdiagramm, der Sie durch den Prozess führen kann.
Crawling-Geschwindigkeit
Es gibt eine crawl-delay-Direktive, die Sie in der robots.txt verwenden können, die von vielen Crawlern unterstützt wird. Sie ermöglicht es Ihnen, festzulegen, wie oft sie Seiten crawlen können. Leider respektiert Google dies nicht.[1] Für Google müssen Sie die Crawl-Rate in der Google Search Console ändern.[2]
Zugangsbeschränkungen
Wenn Sie möchten, dass die Seite für einige Benutzer zugänglich ist, aber nicht von Suchmaschinen indexiert wird, dann ist wahrscheinlich eine dieser drei Optionen das, was Sie wollen:
- Eine Art von Anmeldesystem
- HTTP-Authentifizierung (bei der ein Passwort für den Zugriff erforderlich ist)
- IP-Whitelisting (das nur bestimmten IP-Adressen den Zugriff auf die Seiten ermöglicht)
Diese Art von Setup eignet sich am besten für Dinge wie interne Netzwerke, nur für Mitglieder zugängliche Inhalte oder für Staging-, Test- oder Entwicklungsseiten. Es ermöglicht einer Gruppe von Benutzern, auf die Seite zuzugreifen, aber Suchmaschinen können nicht auf die Seite zugreifen und werden sie nicht indexieren.
Wie man die Crawl-Aktivität sieht
Für Google speziell ist der einfachste Weg, um zu sehen, was es durchsucht, der "Crawl-Statistik"-Bericht in der Google Search Console, der Ihnen mehr Informationen darüber gibt, wie es Ihre Website durchsucht.
Wenn Sie alle Crawlvorgänge auf Ihrer Website sehen möchten, müssen Sie auf Ihre Serverprotokolle zugreifen und möglicherweise ein Tool verwenden, um die Daten besser zu analysieren. Dies kann ziemlich fortgeschritten sein. Wenn Ihr Hosting jedoch ein Kontrollfeld wie cPanel hat, sollten Sie Zugriff auf Rohprotokolle und einige Aggregatoren wie AWstats und Webalizer haben.