SEO

Crawls vergleichen und Veränderungen finden: Excel-Vorlage und Anleitung

Felix MeyerSEO-Experte

Es gibt viele Tools, die Deine Seite crawlen und Fehler aufdecken. Das ist auch sehr hilfreich. Irgendwann siehst Du aber den Wald vor lauter Bäumen nicht mehr: Kenne ich die Fehler schon oder hat sich etwas geändert? Diese Info ist enorm wertvoll, nur bekommst Du sie von den Tools nicht. Aber Excel hilft Dir!

bilder vergleichen

Veränderungen finden macht Spaß, ist aber nicht immer so einfach!

In diesem Artikel findest Du:

  1. Wie Du den Crawl-Vergleich in Excel selbst einrichtest
  2. Eine kostenlose Vorlage und eine Anleitung dazu
  3. Ansätze zur Auswertung der Crawls

Warum Crawls vergleichen?

An vielen Websites oder Onlineshops arbeitet mehr als eine Person an den Inhalten, Kategorien und Produkten. Selbst der Inhouse-SEO weiß dann nicht immer, was alles geändert wurde – und ob das SEO-relevant war. So entstehen oft versehentlich Fehler: Schnell sind Produkte gelöscht oder ein Title geändert und ein wichtiges Keyword durch eine Aktion ersetzt.

Die Lösung: Wenn wir regelmäßig oder nach Releases einen Crawl machen und diesen mit dem vorherigen Stand vergleichen, sehen wir alle Änderungen. So können wir gegensteuern, bevor die Rankings in den Brunnen gefallen sind.

Welche Alternativen gibt es?

Get:traction hat vor geraumer Zeit eine sehr gute Anleitung zu einem Crawl-Vergleich mit „R“ und Screaming Frog veröffentlicht. Allerdings ist die Einrichtung recht komplex und für Laien zeitintensiv.

Alternativ bietet Sistrix mit dem Optimizer die Funktion an, Webseiten-Veränderungen anzuzeigen. Allerdings kostet das Optimizer-Modul 100 € im Monat. Noch dazu vergleicht Sistrix nur eine Domain mit sich selbst. Bei einem Relaunch muss aber der Test-Server mit dem Live-Server abgeglichen werden, dann hilft die Funktion leider nicht mehr.

Was ist mit Excel möglich?

In Excel kannst Du mit wenigen, einfachen Funktionen und ohne zu programmieren automatisch Crawls abgleichen. Dabei beziehe ich mich vor allem auf Crawls mit Screaming Frog (» Screaming Frog Tutorial). Das Prinzip lässt sich aber auf jeden anderen Crawl-Export übertragen. Wird ein Crawl zu groß, stößt Excel mit diesem Vorgehen an seine Grenzen. Für mittelgroße Seiten mit einer fünfstelligen Anzahl an URLs funktioniert das aber sehr gut.

Mit der Vorlage aus diesem Beitrag kannst Du mit wenigen Klicks neue oder weggefallene URLs identifizieren:

neue urls finden

Und Veränderungen an Titles, Descriptions & Co. feststellen:

veränderte titles finden

Crawl-Vergleich selbst einrichten

Wenn Du verstehen möchtest, wie die Tabelle aufgebaut ist oder diese selbst nachbauen möchtest, habe ich hier die Bauweise erklärt.

Keine Lust auf selbst bauen? Dann überspring diesen Teil! Im nächsten Teil gibt es eine Excel-Vorlage zu Download, die Du nutzen kannst.

Als Grundlage brauchst Du natürlich erst mal zwei Crawl-Exporte – idealerweise aus Screming Frog. Diese speicherst Du lokal auf Deinem Laufwerk. Der Kern der Übung ist die PowerQuery-Funktion „Daten abrufen“ unter „Daten“ in Excel. Hierüber lädst Du Deine beiden Crawl-Exporte in eine leere Tabelle:

daten aus crawls abrufen

Sofern hier die Daten Überschriften haben und Umlaute richtig formatiert sind, kannst Du einfach nur auf Laden klicken:

daten laden

Jetzt passiert die Magie mit der Funktion „Abfragen kombinieren“. Darüber kannst Du Deine beiden Crawls zusammenführen:

abfragen kombinieren

Zum Zusammenführen wählst Du im Dropdown jeweils eine der Abfragen aus und wählst eine Spalte aus, nach der die Tabellen zusammengefasst werden sollen – das ist in diesem Fall die Spalte „Address“, also die URL:

tabellen zusammenführen

Die Join-Art entscheidet darüber, wie zusammengeführt wird. Die Funktion „Zusammenführen“ musst Du dreimal ausführen, mit drei verschiedenen Join-Arten:

  1. Linker Anti-Join (Zeilen nur in erster): Das sind die URLs, die nur im Vorher-Crawl auftauchen.
  2. Rechter Anti-Join (Zeilen nur in zweiter): Das sind die URLs, die nur im Nachher-Crawl auftauchen – also neu sind.
  3. Innerer Join (nur übereinstimmende Zeilen): Das sind alle URLs, die gleichgeblieben sind.

Bei der letzten Abfrage musst Du im Power-Query-Editor noch manuell alle Spalten des anderen Crawls laden. Das machst Du mit einem Klick auf die Pfeile am äußersten Rand der Spaltenüberschriften:

daten aus zweiter tabelle ergänzen

Um die Veränderungen bei bestehenden URLs zu vergleichen, baust Du in einem weiteren Sheet eine neue Tabelle, die sich aus den Daten im neu erstellten Sheet mit den gleichbleibenden URLs (innerer Join) speist. Das mache ich Schritt für Schritt so:

Schritt 1: Eine Zelle nutze ich als Dropdown-Liste, bei dem ich als Auswahlmöglichkeiten alle Überschriften aus dem Crawl ziehe (Daten > Datenüberprüfung):
datenüberprüfung liste excel
Dann habe ich eine Zelle, in der ich von Status Code bis Title alle Metriken auswählen kann.

Schritt 2: In einer Hilfs-Zelle lasse ich mir mit dieser Funktion die Nummer der Spalte meiner Dropdown-Auswahl (in C3) ausgeben: =VERGLEICH(C1;gleiche!1:1;0)

Schritt 3: In einer zweiten Zeile lasse ich mir die Spalten-Nummer der zweiten Abfrage ziehen, der ich das Präfix „nachher.“ gegeben habe: =VERGLEICH(„nachher.“&C1;gleiche!1:1;0)

Wir können Dir helfen!

Suchst Du eine kompetente, flexbile und zuverlässige Online-Marketing-Agentur? Wir freuen uns auf Deine unverbindliche Anfrage.

Kontaktiere uns

Schritt 4: Jetzt baue ich mir eine neue Tabelle, die sich nur die gefragten Daten aus der Tabelle mit den gleichgebliebenen URLs zieht. Die erste Zeile sieht dann so aus:

  • URL: =gleiche!A2
  • Referenz vorher: =@INDIREKT(„gleiche!“&ADRESSE(ZEILE(A3)-1;I$1;4;1;)) – wobei hier ZEILE(A3) die aktuelle Zeilen-Nummer ausgeben soll und I$1 der Hilfs-Zelle mit der passenden Spaltennummer entspricht (vgl. Punkt 2).
  • Referenz vorher: =@INDIREKT(„gleiche!“&ADRESSE(ZEILE(A3)-1;K$1;4;1;)) – wobei hier K$1 der Hilfs-Zelle mit der Spaltennummer des Nachher-Werts entspricht (vgl. Punkt 3)
  • Abgleich: =C3=B3 – diese Simple Funktion gleicht den Vorher-Wert mit dem Nachher-Wert ab.

Das gleiche habe ich mir dann nochmal für einen zweiten Referenz-Wert gebaut, damit ich zwei Werte anzeigen kann – denn gerade der Status Code ist bei allen Änderungen als Zweit-Wert sehr hilfreich.

Hat so weit geklappt? Super! Nicht? Dann nutze einfach unsere Vorlage im nächsten Abschnitt.

Crawl-Vergleich-Vorlage nutzen

Alles, was Du bei der Vorlage brauchst, sind zwei Crawls: Einen vorher, einen nachher. Es ist sinnvoll, dass Du immer mit den gleichen Einstellungen crawlst, um Crawls zu vergleichen. Speichere Dir dafür einmal einen Crawl als .seospider-Datei ab und starte ihn regelmäßig neu.

Schritt 1: Öffne die Vorlage aus diesem Beitrag:

Schritt 2: Klicke unter „Daten“ > „Daten abrufen“ auf „Datenquelleneinstellungen“:

datenquelle ändern powerquery

Schritt 3: Ändere die Quelle der Datei „crawl-nachher.xlsx“ auf Deinen aktuellen Crawl und „crawl-vorher.xlsx“ auf Deinen alten Crawl.

datenquelle ändern powerquery

Schritt 4: Danach klickst Du einmal auf „Alle aktualisieren“:

aktualisieren

Schritt 5: Im Sheet „änderungen“ wird ganz oben links eine Fehlermeldung angezeigt, falls die Vorlage zu wenige Zeilen für Deinen Crawl enthält. In dem Fall solltest Du die Zeilen durch Verlängern der Formeln (Zell-Ecke unten rechts klicken und ziehen) auf so viele Zeilen verlängern, wie Dir die Fehlermeldung sagt:

warnung anzahl der zeilen

Wenn es keine Warnung gibt, kannst Du Schritt 5 auslassen.

Und schon bist Du fertig!

Crawl-Vergleich auswerten

Was machst Du jetzt mit dieser Tabelle? Die Datei hat vier Sheets, die Folgendes beinhalten:

  • Im Sheet „neue“ findest Du alle URLs, die nurin Deinem Nachher-Crawl sind. Diese sind also neu entstanden.
  • Im Sheet „weggefallene“ findest Du alle URLs, die nurin Deinem Vorher-Crawl sind. Diese werden also intern nicht mehr verlinkt.
  • Im Sheet „gleiche“ sind alle URLs, die in beiden Crawls waren. Dieses Sheet ist vor allem die Datenbasis für das Sheet „änderungen“ und an sich nicht so interessant.
  • Im Sheet „änderungen“ kannst Du in der Zelle C2 via Dropdown auswählen, nach was Du filtern möchtest. Wenn Du dann die Spalte „Abgleich“ nach „FALSCH“ filterst, findest Du alle Änderungen. Als „Referenz“ kannst Du einen zweiten Wert auswählen – oft ist es sehr hilfreich, den Status Code bei Veränderungen im Blick zu haben.

Ich empfehle Dir vor allem, Dir folgende Fragen regelmäßig zu stellen:

  • Sind URLs neu entstanden, die keinen sinnvollen Keywordfokus haben?
  • Sind relevante URLs wegefallen? Falls ja, wurden sie auch gelöscht oder werden sie nur nicht mehr intern verlinkt?
  • Sind neue URLs mit dem Status Code 301 oder 404 entstanden? Falls ja, sollten die Links dorthin bereinigt werden.
  • Wurden Titles oder Descriptions geändert und sind dabei vielleicht wichtige Keywords verlorengegangen?
  • Haben sich Robots-Metaangaben verändert? Erfahrungsgemäß stellt gerne mal jemand etwas auf „noindex,nofollow“
  • Haben sich die Canonical-URLs verändert? Gerade hier fallen Bugs häufig erst auf, wenn die Rankings einbrechen.

Ich bin mir sicher, dass Du Änderungen finden wirst, die Dir nicht gefallen! Besonders bei einem Relaunch tauchen die wildesten Abweichungen auf. Was Du alles beim Relaunch abgleichen solltest, findest Du übrigens in unserer SEO-Checkliste für den Relaunch.

Excel-Vorlage herunterladen und los geht’s!

Hier geht’s zum Download:

Jetzt weißt Du, was alles geht und wie das geht. Ich bin gespannt, wie Du damit umgehst: Wie gleichst Du Crawls miteinander ab? Hast Du Ideen, wie Du den Abgleich performanter bauen könntest – etwa mit VBA? Schreib es gern in die Kommentare!

Über Felix Meyer
Felix Meyer ist 2009 als erster Mitarbeiter zu Seokratie gekommen und war von 2017 bis 2023 einer der Geschäftsführer von Seokratie. Hier findest Du alle Beiträge von .
Kontakt

Wie können wir Dir helfen?

Dein Erfolg ist nur einen Klick entfernt. Verbinde Dich jetzt mit unseren Experten und lass uns gemeinsam Deine Ziele erreichen. Wir sind bereit, auf Deine individuellen Bedürfnisse einzugehen.

Lass uns miteinander sprechen - kostenlos & unverbindlich

Julian Dziki

Dein Ansprechpartner:
Julian Dziki

Erstberatung

Kontaktformular für Landingpages FW

  • Lass uns miteinander sprechen

    kostenlos & unverbindlich

    Dein Ansprechpartner: Julian Dziki
  • Dieses Feld dient zur Validierung und sollte nicht verändert werden.

Werde fit in SEO!
Werde fit in SEO!
Unser kostenloser SEO-Kurs bringt Dir 5 Tage lang täglich SEO-Wissen in Dein E-Mail-Postfach und unseren Newsletter. Über 20.000 Abonnenten vertrauen uns bereits.
Abonnieren
Du kannst Dich jederzeit wieder abmelden.
close-link