Indexierungssteuerung: So kommen Deine wichtigsten Seiten in den Google-Index

So funktioniert die Indexierung

Das Internet wächst jeden Tag. Somit kommen täglich neue URLs hinzu, die von Google bewertet und in den Index aufgenommen werden wollen. Derzeit besteht der Google-Index nach eigenen Angaben während des Gerichtsprozesses USA gegen Google LLC aus um die 400 Milliarden Dokumenten. Daraus ging auch hervor, dass sich diese Größe trotz des stets wachsenden Internets nicht groß geändert hat. Wir schlussfolgern, dass Google sehr wählerisch ist, welche Inhalte im Index landen und welche nicht. Die Suchmaschine möchte den Nutzer*innen nur hochwertige Inhalte mit Mehrwert bieten. Aus diesem Grund ist es wichtig, dass Du Deine URLs stets aktuell, informativ und qualitativ hochwertig hältst.

Google schaut auf Deiner Seite vorbei (Stichwort Crawling) und arbeitet sich durch alle URLs durch, die der Crawler findet. Dabei werden die URLs, die Google als relevant erachtet, weil sie beispielsweise prominent und häufig von Dir verlinkt wurden und hochwertigen Content haben, priorisiert. Manche Deiner URLswerden gar nicht gecrawlt. Dann bewertet die Suchmaschine Deine Inhalte und evaluiert, ob diese im Verzeichnis von Google, dem Google-Index, landen sollen. Für Deine Suchanfrage gibt Google die als relevant eingestuften Dokumente in den Suchergebnissen aus. Das ist eine sehr vereinfachte Erklärung der Indexierung. Wenn Du mehr dazu erfahren möchtest und die Indexierung noch besser verstehen willst, dann empfehle ich Dir den Blogbeitrag „Google Indexierung: 10 Fragen und Antworten“ von Karo.

Ist die Indexierungssteuerung für Deine Website wichtig?

Die einfache Antwort ist, ja. Wenn Deine wichtigen Inhalte nicht im Google Index landen und ranken, dann bekommst Du über den Kanal SEO keinen Traffic und (neue) Nutzer*innen auf Deine Website. Wie Du bereits weißt, crawlt Google täglich eine Vielzahl an URLs und überprüft, ob diese im Index landen bzw. bleiben sollen. Daher empfehle ich Dir neben hochwertigem Content basierend auf den E-E-A-T Kriterien auf Deiner Website auch einen Überblick Deiner URLs zu haben. Welche URLs sollen in den Index, welche sind im Index und sollen dort auch bleiben? Für die Übersicht kannst Du beispielsweise mit Sitemaps arbeiten. So hast Du stets einen Überblick über den Indexierungsstatus Deiner wichtigsten URLs. Mit einer guten Indexierungssteuerung kannst Du Google dabei helfen Deine wichtigsten URLs im Index aufzunehmen und dort zu behalten oder URLs gezielt NICHT in den Index aufzunehmen.

Genau wie ein Boot sollte auch die Indexierung Deiner Seite gesteuert werden.

Warum solltest Du Seiten nicht indexieren lassen?

Schlechte oder minderwertige Inhalte können einen negativen Einfluss auf Deine gesamte Seite haben.

Schlechter Content kann Deine Website als Ganzes runterziehen. Das kannst Du Dir vorstellen wie beim Schwimmen: Unnötiger Ballast zieht Dich runter. Wenn Du Dich von diesem löst, dann geht das Schwimmen viel einfacher! Aus diesem Grund empfehle ich Dir Deinen gesamten Content zu hinterfragen, schlecht performende Seiten zu de-indexieren oder sogar zu löschen. Das kannst Du im Rahmen eines URL-Audits machen. Hier können wir Dich gerne unterstützen!

Ohne Ballast schwimmt es sich schneller und leichter. So kann auch Deine Website davon profitieren, wenn Du unnötigen schlecht performenden Seiten entfernst.

Crawling- oder Indexierungsprobleme?

Bei Dir tauchen Fehlermeldungen in der Google Search Console auf und Du bist Dir nicht sicher, ob es ein Crawling- oder Indexierungsproblem ist? Das kommt immer mal wieder vor. In diesem Abschnitt gebe ich Dir ein paar Tipps mit, die Dir bei der Bestimmung Deiner Probleme helfen sollen.

Wenn Du Dir auch die Frage stellst, ob Du Crawling- oder Indexierungsprobleme hast, dann hilft Dir dieser Tipp hoffentlich weiter.

Grundsätzlich kann man sagen, dass das Thema Crawlingsteuerung laut dem Handbuch für Websiteinhaber von Google hauptsächlich für  größere Websites mit mehr als 1 Million URLs und mittelgroße Websites mit mehr als 10.000 einzelnen Seiten mit sich schnell ändernden Inhalten relevant ist. Die Crawlingsteuerung beeinflusst, ob Google auf Deine Seiten gelangt. Die Indexierungssteuerung beeinflusst, ob Deine Seiten im Index landen. Wenn Deine Website nur 5.000 URLs hat, dann gibt es in der Regel selten Crawlingprobleme.

Im Indexierungsbericht von Google findest Du Fehlermeldungen wie „Gecrawlt – zur Zeit nicht indexiert“ oder „Gefunden – zur Zeit nicht indexiert“. Dazu empfehle ich Dir auch dieses Video von Nora:

https://www.youtube.com/watch?v=jAPVGfyQadM

Wenn die Anzahl an gefundenen, aber nicht indexierten URLs größer ist als die Anzahl an gecrawlten, aber nicht indexierten URLs, dann hast Du vermutlich ein Crawlingproblem. Dann findet Google viele Deiner URLs zwar, aber crawlt sie nicht. Wenn darunter auch Deine relevanten URLs fallen, dann hast Du wahrscheinlich ein Crawlingproblem.

In dem Seitenbericht der GSC kannst Du Dir anschauen, ob mehr URLs gecrawlt aber nicht indexiert werden oder mehr gefunden aber nicht indexiert werden. Das kann Dir Hinweise darauf geben, ob ein Crawlingproblem besteht. Schau Dir die URLs an, die darunter fallen und ob das in Deinem Fall ein Problem darstellt.

Ist die Anzahl an gecrawlten, aber nicht indexierten URLs größer als die Anzahl an gefundenen aber nicht indexierten URLs? Dann vermute ich, dass Du ein Indexierungsproblem hast.

So findest Du heraus, ob Deine Seite indexiert ist

Es gibt zwei einfache Wege, wie Du schnell herausfinden kannst, ob eine Deiner Seiten indexiert ist oder nicht. In diesem Abschnitt erkläre ich Dir, wie es geht.

Google-Suche

Deine erste Anlaufstelle beim Überprüfen, ob eine URL indexiert ist, ist die Suchmaschine selbst. Hier kannst Du beispielsweise nach dem Inhalt Deiner zu überprüfenden URL googeln. Wenn Deine URL als Suchergebnis erscheint, dann weißt Du, dass sie indexiert ist.

Google Search Console

Eine andere Herangehensweise ist die Google Search Console. Unser Lieblingstool im SEO ist eine gute Option für Deinen Indexierungscheck. Mit der Funktion „URL überprüfen“ kannst Du Dir die Infos zu Deiner URL anzeigen, die Google hat: Indexierungsstatus, verweisende Seiten, erkannte strukturierte Daten, und so weiter. So kannst Du direkt erfahren, ob Google Deine URL kennt und sie indexiert hat.

In der Google Search Console kannst Du die Indexierung Deiner URL prüfen.

Hier kannst Du sehen, ob Deine URL auf Google ist, wie sie gefunden wurde und wann das letzte Crawling stattgefunden hat.

So kannst Du die Indexierung steuern

Es gibt vier Arten von Problemen bei der Indexierung Deiner Website. 1. zu viele URLs im Index, 2. zu wenige URLs im Index, 3. falsche URLs im Index, 4. wichtige URLs sind nicht im Index.

1. Kämpfst Du mit Indexierungsproblemen, kannst Du zu diesen Maßnahmen greifen:Inhaltliche Qualität erhöhen

Du kannst Deine Inhalte mit einem Content-Audit evaluieren. Mit dem Ergebnis kannst Du minderwertige Inhalte löschen und gute Inhalte erweitern. Auf diese Weise erhöhst Du die Qualität Deiner gesamten Website.

2. Interne Verlinkung stärken

Wenn Seiten überarbeitet wurden und nun neue und hochwertige Inhalte haben, kannst Du die interne Verlinkung dieser URLs stärken. So bekommen diese URLs auch mehr Linkjuice.

Diese Seiten solltest Du nicht indexieren lassen

Verschiedene Arten an Seiten sollten besser nicht im Index bei Google landen. Welche das sind und wie Du damit umgehst, erfährst Du in diesem Abschnitt.

Zusätzlich kann ich Dir Noras Video zum Thema „Google Indexierung verhindern“ empfehlen:

https://youtu.be/bgf5cZPGW5c

Canonicals

Seiten, die per Canonical auf eine andere Seite verweisen, werden von Google automatisch nicht indexiert. Damit teilst Du Google mit, dass es sich um ähnliche Inhalte handelt wie auf der kanonischen Version der Seite. Somit indexiert Google diese Seite nicht. Aus diesem Grund musst Du Seiten mit Canonical-Verweis auch nicht auf noindex setzen.

Mehr zum Thema Canonical Tag findest Du im Blogbeitrag von Karo.

Duplicate Content

Doppelte Inhalte sieht Google gar nicht gerne. Der beste Weg ist, das Übel an der Wurzel zu packen und die doppelten Inhalte weiterzuleiten:

https://example.com/doppelter-inhalt → 301 → https://example.com/original-inhalt

Eltern freuen sich über ihre Zwillinge, Google sind sie eher ein Dorn im Index.

So sparst Du Crawlingbudget und verschlankst Deine Seite. Sollte eine Seite mit doppelten Inhalten notwendig sein, dann solltest Du sie mit einem Canonical auf die Haupt-URL verweisen lassen. Ein Canonical-Link sagt prinzipiell: „Liebe Suchmaschine, ich bin nur ein Duplikat; fasse daher all unsere Stärke auf dieser anderen URL zusammen!“ So sieht das im Quelltext aus:

https://example.com/doppelter-inhalt

<link rel=“canonical“ href=“https://example.com/original-inhalt“ />

Mehr zum Thema Duplicate Content findest Du im Blogbeitrag von Felix.

Paginierungsseiten

Paginierungen helfen dabei, dass Google alle Deine wichtigen Produkte und sonstige relevanten Inhalte finden und crawlen kann. Indexieren muss Google diese allerdings nicht. Daher sollten die Paginierungsseiten auf noindex stehen.

Paginierung ist wichtig, paginierte Seiten sollten aber beim Indexieren mit noindex versehen werden.

Kategorieseiten mit wenig Inhalt

Wenn bestimmte Kategorien eines B2C-Onlineshops nur ein oder zwei Produkte oder Seiten nur fünf Zeilen Text enthalten, ist es sehr wahrscheinlich, dass die Nutzer*innen hier nicht das finden, was sie suchen. Zumindest, wenn die Konkurrenz hier auch aktiv ist. Sie werden daher die Seite nach der Suche verlassen und einen Short Click produzieren. Google weiß dadurch: Das Suchergebnis ist nicht gut. Das solltest Du unbedingt vermeiden und daher solchen „thin content“ deindexieren.

Filterseiten & Parameterseiten

Filterseiten und Parameterseiten enthalten eine geringere Auswahl an Produkten, die auf das spezialisiert ist, nach dem die Kund*innen suchen. Daher gibt es hier drei Möglichkeiten, wie Du vorgehen kannst:

1. Die Filterseite ist von den Produkten und dementsprechend den Inhalten her sehr identisch mit der Kategorieseite. In diesem Fall solltest Du die Filterseite auf index lassen, aber per Canonical auf die Kategorie verweisen lassen. Damit der Canonical gut greift, sollten die Seiten so identisch wie möglich sein. Es ist daher sinnvoll die (Text-)Inhalte der Haupt-URL auch auf den Filterseiten anzuzeigen.
2. Unterscheidet sich die Filterseite sehr stark von der ungefilterten Kategorie oder erscheinen viele Filterseiten in der Suche, dann ist es sinnvoller die Filterseiten komplett auf noindex zu stellen.
3. Ist die Filterung eine stark nachgefragte Seite in Deinem Shop, kannst Du diese Seite indexieren. Ein Beispiel: Bei einem Mode-Shop kann die Filterung für „Damenschuhe weiß“ sehr relevant sein. Wenn dort genug Produkte verfügbar sind und die Nachfrage vorhanden ist, kann es sich rentieren, diese Filterseite indexieren zu lassen. Es empfiehlt sich aber dringend, diese auch mit ein wenig einzigartigem Textinhalt anzureichern und intern zu verlinken. Zudem solltest Du Dir überlegen, ob Du diesen Filterseiten nicht statische URLs geben möchtest. Im Rahmen einer Keyword Strategie können die Potentiale von Filterseiten aufgedeckt werden.

Filterseiten können Potenzial haben. Vergiss sie bei Deiner Indexierungssteuerung nicht.

Deindexierung einer Seite oder eines Seitenbereichs

Bei manchen Websites ergibt es Sinn, einzelne Seiten oder sogar ganze Seitenbereiche von der Indexierung auszuschließen. Beispielsweise sollten Warenkörbe oder Account Seiten von Onlineshops vom Crawling und Indexing ausgeschlossen werden. Sie haben keinen Mehrwert für Suchmaschinen. Wie Du Seiten von der Indexierung ausschließen kannst, erfährst Du in diesem Abschnitt.

Meta Tags

Damit eine Seite nicht mehr im Index landet, kannst Du ein Meta-Tag verwenden. Im Header Deiner Seite verwendest Du dafür folgenden robots-Metatag:

<meta name=“robots“ content=“noindex, follow“ />

In diesem Zusammenhang ist es wichtig, dass Du folgende Punkte weißt:

• Die Konfiguration lautet nicht „noindex, nofollow“. Das nofollow-Attribut solltest Du intern nicht verwenden. Du entwertest damit all Deine Links. Jegliche Stärke, die in diese Seiten fließt, geht Dir verloren.
• Seiten, die auf noindex stehen, dürfen nicht in der   gesperrt sein, weil Suchmaschinen dann das obige Meta-Tag nicht lesen können. Die Konsequenz: Die Seite erscheint trotzdem im Index.

Seite aus dem Google-Index entfernenEine weitere Möglichkeit ist die Funktion in der Google Search Console, mit der Du Inhalte aus dem Index entfernen kannst. Das ist insbesondere dann wichtig, wenn es beispielsweise um Urheberrechtsverletzungen (beabsichtigt oder unbeabsichtigt) geht und Inhalte schnell aus dem Index verschwinden sollen.

Die URL-Entfernung aus dem Google Index kannst Du hier anstoßen:

In der Google Search Console kannst Du eine URL aus dem Index ausblenden lassen.

Wichtig für Dich zu wissen: Damit kannst Du eine URL für zirka 6 Monate aus dem Index entfernen. Für eine dauerhafte Entfernung musst Du beispielsweise mit noindex arbeiten oder die URL löschen.

Für noch mehr Informationen zum Thema Indexierung empfehle ich Dir Noras Blogbeitrag Indexbereinigung.

Dein Weg zum Indexierungserfolg

Arbeite möglichst effizient, wenn Du die Indexierung Deiner Website steuern möchtest. Suchmaschinen sollten so wenig Inhalte wie möglich crawlen müssen – und von diesen sollte ein möglichst großer Anteil indexiert sein. Das heißt aber nicht, dass so viele Seiten wie möglich indexierbar sein sollten. Nur Deine besten Seiten sollten indexierbar sein.

Jetzt interessiert mich Deine Meinung zu diesem Thema. Wie gehst Du mit der Indexierungssteuerung um? Welche Erfahrungen hast Du damit gemacht? Ich freue mich von Dir in den Kommentaren zu lesen.

Wenn Du Unterstützung bei der Indexierung brauchst, dann melde Dich gerne bei uns und wir schauen uns gemeinsam Dein Problem an.

Bildnachweise: Titelbild Adobe Stock blende11.photo; Bild 1 Adobe Stock mimadeo; Bild 2 Adobe Stock Halfpoint; Bild 3 Adobe Stock luismolinero; Bild 4 Screenshot Google Search Console; Bild 5 Screenshot Google Search Console; Bild 6 Screenshot Google Search Console; Bild 7 Adobe Stock irena_geo; Bild 8 Adobe Stock DALU11; Bild 9 Adobe Stock Nuthawut; Bild 10 Screenshot Google Search Console