Crawling-Fehler und Indexierungsprobleme beheben

Wenn Sie in der Search Console eine Meldung wie „Gecrawlt, zurzeit nicht indexiert“ oder „404“ sehen, ist das nicht immer ein dringendes Problem, sollte aber auch nicht ignoriert werden. Crawling-Fehler und Indexierungsprobleme können dazu führen, dass selbst eine gut geschriebene Seite nie in den Suchergebnissen erscheint. In diesem Artikel beschreiben wir, wie man diese Probleme findet und behebt.

Der Unterschied zwischen Crawling und Indexierung

Beim Crawling findet ein Suchmaschinen-Bot eine Seite und lädt ihren Inhalt herunter. Bei der Indexierung wird dieser Inhalt in die Datenbank der Suchmaschine aufgenommen, damit er in den Suchergebnissen erscheinen kann. Eine Seite kann gecrawlt werden, ohne indexiert zu sein. Die beiden Schritte sind voneinander unabhängig. Die Berichte in der Search Console zeigen, welche Seite bei welchem Schritt hängen bleibt.

Die Berichte in der Search Console lesen

Der Bericht „Seiten“ listet indexierte und nicht indexierte Seiten mitsamt den Gründen auf. „Gecrawlt, zurzeit nicht indexiert“ und „Gefunden, zurzeit nicht indexiert“ bedeuten unterschiedliche Dinge, das eine zeigt, dass die Suchmaschine die Seite gesehen, aber noch nicht entschieden hat, das andere, dass sie die Seite noch gar nicht erreicht hat. Das URL-Prüftool führt für eine einzelne Adresse einen Live-Test durch und zeigt, woran es liegt.

Häufige Ursachen für 404-Fehler

Wird eine Seite gelöscht oder ihre Adresse geändert, bleiben interne und externe Links, die auf die alte Adresse verweisen, defekt. Ein Tippfehler im Link führt zum selben Ergebnis. Sie sollten die 404-Seiten Ihrer Website regelmäßig prüfen und entweder auf die richtige Adresse weiterleiten oder den Link korrigieren. Nicht jeder 404-Fehler braucht eine Weiterleitung, für wirklich nicht mehr existierenden Inhalt ist ein 404 auch eine legitime Antwort.

Weiterleitungsketten und Schleifen

Führt der Weg von einer Adresse zur anderen über mehr als eine Weiterleitung, verlangsamt das den Bot auf dem Weg zum Ziel und kann in manchen Fällen die Indexierung verhindern. Kehrt eine Weiterleitung zu ihrem eigenen Ausgangspunkt zurück, entsteht eine Schleife, und die Seite lädt nie. Die Seite öffnet sich dann einfach nicht. Am zuverlässigsten hält man Ketten kurz, indem man jede Adresse direkt zu ihrem endgültigen Ziel weiterleitet.

Konflikte beim Canonical-Tag

Ein Canonical-Tag gibt an, welche Adresse die ursprüngliche ist, wenn mehrere Adressen denselben Inhalt zeigen. Zeigt dieses Tag auf eine andere Adresse als die eigene Seite, kann das eine bewusste Entscheidung oder ein versehentlicher Fehler sein. Stellen Sie sicher, dass das Canonical-Tag wirklich auf die gewünschte Adresse zeigt, sonst kann die Suchmaschine die falsche Seite für das Original halten.

Versehentliche Sperrung durch robots.txt und Meta-Tags

Eine einzige falsch geschriebene robots.txt-Regel kann einen wichtigen Bereich für alle Bots sperren. Ebenso kann ein noindex-Tag auf einer Seite dazu führen, dass diese Seite absichtlich oder versehentlich außerhalb des Index bleibt. Diese Datei und diese Tags gehören unter Versionskontrolle. Jede Änderung sollte geprüft werden.

Die Sitemap aktuell halten

Die Sitemap-Datei teilt Bots mit, welche Seiten existieren. Wird eine neue Seite hinzugefügt, muss sie auch in die Sitemap aufgenommen werden, sonst kann die Seite spät entdeckt werden. Bleibt eine nicht mehr existierende Adresse in der Sitemap, führt das zu unnötigen Crawl-Anfragen.

Fazit

Crawling- und Indexierungsprobleme bleiben oft unbemerkt, die Seite existiert, erscheint aber nie in den Suchergebnissen. Die Berichte der Search Console regelmäßig zu beobachten ist der zuverlässigste Weg, diese Probleme früh zu erkennen. In unserem Service für Website-Performance führen wir diese Prüfungen als Teil der laufenden Website-Pflege durch. Kontaktieren Sie uns, wenn Sie den Crawling-Status Ihrer Website gemeinsam prüfen möchten.