Weg mit der robots.txt!

29. Oktober 2014  |     |  16 Kommentare
Ein Beitrag von Julian Dziki

Vor zwei Tagen hat Google offiziell angekündigt, dass es dem Ranking einer Seite schaden kann, wenn man CSS und Skripte bei Google per robots.txt aussperrt. Doch was bedeutet das?

Google kann sehen!

Schon im Januar und im Mai habe ich Euch darauf aufmerksam gemacht, dass a) die optische Gestaltung einer Webseite sehr wichtig ist und b) Google Webseiten mittlerweile auch „sehen“ kann.

Front and Center

Der Googlebot liebt es, wenn der Hauptcontent so weit oben wie möglich steht. Auch Google schreibt in seinen internen Search Quality Guidelines:

“• The page layout on Highest quality pages makes the MC [Main Content] immediately visible (“front and center”).
• The space on Highest quality pages is used well.
• The SC on Highest quality pages is helpful and contributes to a very satisfying user experience.”

Quality Rater sehen sich ja nicht jede URL des Internets an, um dann Rankings zu vergeben, sondern die Rohergebnisse werden den Ingenieuren gegeben, die daraufhin das Ganze in den Algorithmus backen. Es war daher nötig, dass der Googlebot auch das „Sehen“ lernen musste.

So sieht Google Seokratie

rendern2

In den Webmastertools gibt es schon seit Längerem die Funktion „Abruf wie durch Google“. Vor einiger Zeit kam dann der Button „Abrufen und Rendern“ hinzu. Damit könnt Ihr sehen, wie Google Eure Seite visuell wahrnimmt. Dabei bekommt man auch Fehlermeldungen, wenn man das CSS oder Javascript ausblendet.

Jetzt wird es zur Pflicht

In den letzten Tagen hat Google mehrfach angekündigt, dass dieses Feature wichtiger wird. Zunächst im offiziellen Google Webmasterblog, dann noch einmal ganz deutlich auf Google+. Der Google Mitarbeiter Pierre Far schrieb:

pierre-far-google

Google+ Status von Pierre Far, Webmaster Trends Analyst bei Google

Im Klartext: Wer den Googlebot in Sachen CSS und Javascript aussperrt, der kann seiner Webseite erheblich schaden. Da war er ganz deutlich.

Was bedeutet das?

Für mich bedeutet das im Subkontext, dass Google noch mehr Energie darauf verwenden wird, wie eine Seite letztlich anhand ihres Contents und Designs gerankt werden soll. Im Klartext: Google möchte künftig Webseiten (mehr) nach ihrer grafischen Aufmachung bewerten. Dabei geht es jetzt nicht darum, ob eine Webseite „schön“ ist oder nicht, sondern um gute Bedienbarkeit und eine gute Strukturierung der Inhalte. Maik von den Internetkapitänen machte gestern eine kleine Analyse und stellte dabei fest, dass 16 % aller Webmaster ihr Javascript und ihr CSS komplett sperren. Würde Google jetzt eine Änderung im Algorithmus machen, hätten diese (teils sehr großen) Webseiten erhebliche Nachteile. Deswegen die deutliche Warnung von Google.

Robots.txt generell

Links per Javascript verstecken

Ich bin schon seit Längerem kein Fan mehr davon, wenn man Links mit Javascript versteckt. Diese „High-End“ Taktik kommt immer dann zum Zuge, wenn technisch-versierte SEOs die interne Verlinkung optimieren wollen. Dabei werden die Links mit einem internen Javascript ausgeführt. Diese Javascript-Datei wird dann in der robots.txt gesperrt und damit sieht Google die Links nicht. Von dieser Methode sollte man sich nun langsam verabschieden.

Fazit: Weg mit der robots.txt?

Der Titel ist etwas reißerisch gewählt. Allerdings fallen mir kaum noch gute Gründe ein, die robots.txt überhaupt zu verwenden. URLs, die Ihr dort ausschließt, erscheinen nämlich weiterhin im Index – weil Google eventuelle „Noindex“-Metas nicht lesen kann, denn der Google Bot darf ja nicht auf die URL. Login-Bereiche sind vielleicht weiterhin ganz gut, wenn man sie in der robots.txt sperrt, vor allem wegen anderer „böser“ Crawler. Ansonsten sollte man mit Noindex arbeiten und bei ganzen Seitenbereichen mit URL-Parametern, die man dann bequem aussperren kann. Ich bezweifle, dass es von Vorteil ist, wenn man zu viele Dateien im Index hat, die per robots.txt ausgesperrt wurden.

Google muss Eure Seite richtig sehen können

Aber auch, wenn man da unterschiedlicher Meinung ist: Das CSS gehört nicht ausgesperrt. Nutzt das Google Tool zum Rendern Eurer Webseite und seht Euch an, ob sie „normal“ aussieht oder ob es enorme Fehler gibt. Wenn die Webseite völlig anders aussieht als sie ein User zu Gesicht bekommt, dann solltet Ihr demnächst etwas daran ändern.

Oder was meint Ihr?

Jetzt teilen: Share on Facebook0Tweet about this on TwitterShare on Google+18Email this to someoneShare on LinkedIn2

E-Book: Der Weg zum erfolgreichen Online Shop

  • Das 47-seitige E-Book mit 72 konkreten Tipps für Deinen Online Shop
  • Einmal wöchentlich exklusiver Content für das Marketing Deines Shops
  • Unser Newsletter (1-2x pro Woche)
E-Book kostenlos downloaden

16 Kommentare

  • …gelesen, gut gefunden, geteilt.
    😉
    So langsam sollten auch beratungsresistente Sturköpfe wach werden…

    Gruß
    Miladin

  • Hi Julian,

    letzten Endes war diese Entwicklung abzusehen. Was mich allerdings ein wenig erstaunt, ist Deine Sichtweise dieser Neuerung und die vermeintlichen Hintergründe.

    Über nicht zugreifbares JS war es bisher für die Black Hats möglich, Google interne Links sehen zu lassen, diese aber für den User auszublenden. Unter’m Strich nichts anderes als ein ‚kleines Cloaking‘.

    Mit der aktuellen Anpassung wird das verhindert, nicht mehr und nicht weniger.

    Grüße,
    Oliver

  • Roland

    Wie wäre die Reaktion wenn dieser Wunsch / Ankündigung nicht von Google käme, nehmen wir an von Bing?

    Wäre da die Antwort: „Wenn die etwas wollen sollen sie sich anstrengen“ ?

  • Sven

    Wenn man über den Newsletter auf deine Seite kommt und dann wieder weg will, kommt dieses dann nervige Newsletteranmeldeformular. Kann man das nicht irgendwie „abfangen“, wo die URL doch schon zeigt, dass ich über den Newsletter kommen?

  • „Der Titel ist etwas reißerisch gewählt.“ Das ist ja wohl die Untertreibung des Jahres. Die Welt dreht sich doch nicht nur um Google …

    Gruß
    Christian

  • Ich persönlich würde nicht so weit gehen und die robots.txt ganz weglassen. Dass man JS und CSS nicht sperrt sollte eigentlich jedem Webmaster klar sein, seit Google die Funktion „abrufen und rendern“ in den WMTs eingeführt hat.

    Aber deswegen gibt es noch immer Bereiche die ich von der Indexierung durch Google ausschließen möchte – natürlich werden diese Dateien von Google trotzdem besucht und gecrawlt – nur scheinen sie nicht im Index auf.

    Außerdem kannst du über die robots.txt noch die Crawlgeschwindigkeit bestimmen und eine Sitemap hinterlegen. (siehe auch: http://de.wikipedia.org/wiki/Robots_Exclusion_Standard)

    Also nicht ganz weglassen – aber mit Hirn einsetzen (wie bei fast allen Dingen die mit Webservern und Technik zu tun haben 🙂

    lg
    Chris

  • CSS habe ich noch nie ausgesperrt. Warum auch? War und bin der Meinung „Login-Bereiche sind vielleicht weiterhin ganz gut, wenn man sie in der robots.txt sperrt, vor allem wegen anderer “böser” Crawler.“

    So handhabe ich das schon immer und fahre gut damit.

  • „Login-Bereiche sind vielleicht weiterhin ganz gut, wenn man sie in der robots.txt sperrt, vor allem wegen anderer “böser” Crawler.“

    WAAAAAAAAAAAH!

    Nein, macht doch bitte so nen Blödsinn nicht!
    Admin/Loginbereiche NIE NIE NIEMALS in die robots.txt!

    Die bösen Bots halten sich da eh nicht dran, und was viel schlimmer ist: ein Angreifer muss nur in eure robots.txt schauen um zu wissen wo er anfangen muss zu suchen!

  • cool, danke für diesen beitrag. habe direkt unsere seite kontrolliert und wir haben auch bis jetzt css und js nicht ausgesperrt 🙂

  • Vorgestern auch schon mit dem Thema beschäftigt und bei einer Seite ein missglücktes Rendering entdeckt. In dem Fall schafft Google es nicht, die über W3 Total Cache per Minify in einer CSS-Datei zusammengeschmissenen CSS-Anweisungen zu verarbeiten. Wähend jeder andere gebräuchliche Browser eine problemlose Darstellung schafft. Problemfall waren die drei CSS-Dateien von Ubermenu und so muss der Nutzer dort nun erst einmal 4 CSS-Dateien statt einer herunterladen. Mal hoffen, das Google an der Qualität seines Renderings noch arbeitet …

    Ich glaube aber nicht, dass dies im Algorithmus schon eine extrem entscheidende Rolle spielt. Wie angesprochen sind ja noch viele CSS\Javascript-Dateien gesperrt. Da dürfte dann 2015 aber möglicherweise ein größeres Update in diese Richtung anstehen. Da sollte man die weiteren Aussagen von Google-Verantwortlichen im Auge behalten.

  • Nun ja, bei WordPress Systemen ergibt es Sinn, den RSS Feed aufgrund einer Duplicate Content Problematik vom Crawling auszuschließen. Und je nach Belieben auch den Kommentar-Feed, wenn dort zuviel Inhalte produziert werden, die das Profil des Blogs keywordmässig verwässern würden.

  • Super Artikel, danke! Wiedermal was dazu gelernt, aber ich versteh auch nicht ganz wer und aus welchem Grund man CSS aussperrt.

  • @Bekir

    Bei WordPress zum Beispiel wird laut 66.800 Google Suchergebnissen empfohlen, den Zugriff auf /wp-content/themes/ zu verbieten. Ob aus SEO Mythen oder Sicherheitsgründen weiß ich nicht. Vermutlich beides. Der technisch weniger versierte Blogger weiß nicht, das dort ja die zentrale .css Datei liegt.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

Willst Du fit in SEO werden?

Abonniere unseren Newsletter und bleibe in Sachen SEO, Inbound- & Online-Marketing auf dem Laufenden.

Du kannst den Newsletter jederzeit wieder abbestellen.