Was ist Indexierung, und warum bedeutet das Crawling einer Seite nicht, dass sie indexiert wird?

Einfach erklärt

Eine Bibliothekarin kann ein Buch entgegennehmen, ohne es in den Katalog aufzunehmen. Das Buch gesehen zu haben bedeutet nicht, dass es eine Katalognummer erhalten hat oder bei einer Suche erscheint.

Warum ist das wichtig?

Wer erfolgreiches Crawling mit erfolgreicher Indexierung gleichsetzt, stellt die falsche Diagnose. Ein Website-Betreiber fügt dann möglicherweise immer neue Inhalte hinzu, ohne zu untersuchen, warum eine zugängliche Seite trotzdem nicht ausgewählt werden kann.

Nicht verwechseln

• Entdeckung, Crawling, Rendering, Indexierung und Abruf sind getrennte Zustände.
• robots.txt steuert den Zugang; noindex ist eine Indexierungsanweisung.
• Ein öffentlicher Suchindex und der private RAG-Index einer Organisation sind nicht dasselbe.

Was ist zu tun?

1. Prüfen Sie Indexierbarkeitssignale wichtiger URLs.
2. Betrachten Sie noindex, Canonical, Weiterleitung und HTTP-Status gemeinsam.
3. Kennzeichnen Sie bei doppelten Seiten die bevorzugte kanonische URL eindeutig.
4. Testen Sie, ob per JavaScript erzeugte oder erst nach einem Zugriff sichtbare Inhalte tatsächlich verarbeitet werden können.
5. Wenn ein Anbieter Diagnosewerkzeuge bereitstellt, protokollieren Sie das Ergebnis mit Datum.

Wie wird geprüft?

• Wurde die Seite gecrawlt oder lediglich entdeckt?
• Gibt es eine noindex-Anweisung oder einen widersprüchlichen Canonical?
• Ist der ausgelieferte Inhalt leer, unvollständig oder an eine Sitzung gebunden?
• Für welches System wurde der Indexstatus gemessen?
• Wurde das Vorhandensein im Index mit dem Abruf für eine bestimmte Anfrage verwechselt?