Meta Robots Tag

Home » SEO Glossar » Meta Robots Tag

Meta Robots Tag: Die volle Kontrolle über Indexierung und Crawling.

Der Meta Robots Tag ist eines der mächtigsten Werkzeuge im Arsenal eines SEO-Managers. Er bietet die Möglichkeit, Suchmaschinen-Crawler auf Seitenebene detaillierte Anweisungen darüber zu geben, wie der Inhalt einer URL behandelt werden soll. Im Gegensatz zur robots.txt, die auf Verzeichnisebene arbeitet, bietet der Meta Robots Tag eine präzise Steuerungsmöglichkeit, um festzulegen, ob eine Seite indexiert, ob die auf ihr enthaltenen Links verfolgt oder ob die Seite im Suchindex archiviert werden darf.

Ein falscher Einsatz des Meta Robots Tags kann fatale Folgen für die Sichtbarkeit einer Webseite haben. Ein versehentlich gesetztes noindex-Tag auf einer wichtigen Produktseite kann dazu führen, dass diese innerhalb weniger Tage komplett aus den Suchergebnissen verschwindet. Umgekehrt kann ein fehlendes noindex-Tag bei nicht relevanten Seiten das Crawl-Budget einer Domain belasten und die Indexierung qualitativen Contents behindern. Dieser Glossarbeitrag beleuchtet die technische Implementierung, die strategische Anwendung und die häufigsten Fallstricke im Umgang mit diesem essenziellen SEO-Element.

Die Anatomie des Meta Robots Tags

Ein Meta Robots Tag wird im HTML-Quellcode einer Webseite im Head-Bereich platziert. Er sieht in der Standardform wie folgt aus: 

<meta name="robots" content="index, follow">

Das Attribut name=“robots“ spricht alle Suchmaschinen-Crawler an. Alternativ kann man durch die Verwendung des Namens einer spezifischen Suchmaschine (z. B. „googlebot“) nur einen einzelnen Crawler adressieren. Das Attribut content enthält die eigentliche Anweisung, die aus einer Kombination von Befehlen bestehen kann.

Wichtige Anweisungen im Detail

<!-- Standardeinstellung: Seite wird indexiert und Links verfolgt -->
<meta name="robots" content="index, follow">

<!-- Seite wird aus dem Suchindex entfernt, Links werden aber weiter verfolgt -->
<meta name="robots" content="noindex, follow">

<!-- Seite wird nicht indexiert und Links werden nicht verfolgt -->
<meta name="robots" content="noindex, nofollow">

<!-- Seite wird indexiert, aber Google darf keine Kopie im Cache speichern -->
<meta name="robots" content="index, follow, noarchive">

<!-- Nur für den Googlebot: Keine Indexierung, keine Links folgen -->
<meta name="googlebot" content="noindex, nofollow">

index und noindex

Der Befehl index teilt der Suchmaschine mit, dass die Seite in den Index aufgenommen werden soll. Dies ist der Standardzustand und muss in der Regel nicht explizit angegeben werden. Das Gegenstück dazu ist noindex. Wenn eine Seite mit noindex markiert ist, weist man die Suchmaschine an, diese Seite nicht in die Suchergebnisse aufzunehmen. Dies ist das wichtigste Werkzeug für die SEO-Hygiene, um beispielsweise Filterseiten, Suchergebnisse oder interne Verwaltungsseiten aus dem Index fernzuhalten.

follow und nofollow

Der follow-Befehl erlaubt es dem Crawler, den auf der Seite enthaltenen Links zu folgen und die Link-Power (Link Equity) weiterzugeben. nofollow hingegen untersagt dem Crawler das Folgen der Links auf dieser spezifischen Seite. Es ist wichtig zu verstehen, dass nofollow im Meta Robots Tag bedeutet, dass alle Links auf der Seite nicht verfolgt werden sollen. Dies unterscheidet sich vom Link-Attribut rel=“nofollow“, das nur für einen einzelnen Link gilt.

noarchive

Die Anweisung noarchive hindert Suchmaschinen daran, eine gespeicherte Kopie (Cached Version) der Webseite in den Suchergebnissen anzuzeigen. Dies ist besonders für E-Commerce-Seiten mit dynamischen Preisen oder für Mitgliederbereiche relevant, bei denen man nicht möchte, dass veraltete Informationen in einem Cache-Archiv verfügbar bleiben.

nosnippet

Mit nosnippet verweigert man der Suchmaschine die Anzeige einer Vorschau des Seiteninhalts in den Suchergebnissen. Dies führt dazu, dass lediglich der Titel und die URL erscheinen, aber keine beschreibenden Texte. Dies wird selten eingesetzt, da es die Klickrate in der Regel negativ beeinflusst.

Die Hierarchie der Steuerung: Ein kritischer Punkt

Eines der häufigsten Missverständnisse in der Suchmaschinenoptimierung ist die Interaktion zwischen robots.txt und Meta Robots Tag. Es muss klar sein: Wenn eine Seite in der robots.txt für den Crawler gesperrt ist, kann der Crawler die Seite nicht aufrufen. Da er die Seite nicht aufrufen kann, kann er auch den Meta Robots Tag nicht lesen, der auf dieser Seite steht.

Das bedeutet: Wenn Sie eine Seite in der robots.txt mit disallow sperren, wird ein noindex-Tag auf der Seite niemals von Google gefunden und verarbeitet. Die Seite könnte im Index verbleiben, wenn sie von anderen Seiten verlinkt wird, allerdings ohne Snippet. Das ist ein klassischer SEO-Fehler. Merken Sie sich: Die Steuerung der Indexierung gehört in den Meta Robots Tag, die Steuerung des Zugriffs in die robots.txt.

X-Robots-Tag: Die Alternative für Fortgeschrittene

Nicht alle Ressourcen auf einer Webseite sind HTML-Dateien. Was ist mit PDFs, Bildern oder Videos? Hier kann kein Meta Robots Tag im HTML-Head platziert werden. Hier kommt der X-Robots-Tag zum Einsatz. Dies ist ein HTTP-Header, der vom Server gesendet wird. Er hat die gleiche Funktion wie der Meta Robots Tag, kann aber für jede Art von Datei konfiguriert werden. Ein typisches Szenario ist die Verwendung des X-Robots-Tags für PDFs, um diese von der Indexierung auszuschließen, ohne die PDF-Datei selbst bearbeiten zu müssen.

Strategische Anwendung für die SEO-Qualität

Aufräumarbeiten im Index

Eine saubere Webseite sollte nur qualitativ hochwertige und für den Nutzer relevante Seiten im Google-Index haben. Seiten, die wenig Mehrwert bieten, wie Datenschutzerklärungen, Impressum, interne Suchergebnisse oder technische Filterseiten, sollten mit noindex markiert werden. Dies hilft Suchmaschinen, sich auf die Seiten zu konzentrieren, die für den Nutzer und für Ihr Ranking wirklich von Bedeutung sind.

Umgang mit Staging- und Testumgebungen

Es ist ein absolutes Muss, jede Entwicklungs- oder Staging-Umgebung per noindex, nofollow zu schützen. Nichts schadet einer Domain mehr, als wenn Google den Testserver indexiert und plötzlich Dubletten-Probleme oder Index-Chaos entstehen.

Best Practices und häufige Fehler

Im Umgang mit dem Meta Robots Tag gibt es einige goldene Regeln:

  • Verwenden Sie kein noindex auf Seiten, die gleichzeitig per robots.txt gesperrt sind.
  • Prüfen Sie bei Relaunches oder Migrationen, ob versehentlich noindex-Tags von der Entwicklungs-Umgebung in die Live-Umgebung übernommen wurden.
  • Nutzen Sie das nofollow-Attribut auf Seitenebene sehr sparsam. In der Regel ist es besser, auf Link-Ebene (rel=“nofollow“) zu arbeiten, anstatt ganze Seiten für Bots unbrauchbar zu machen.
  • Behalten Sie im Blick, dass noindex auch bedeutet, dass die Seite aus dem Google-Index gelöscht wird. Wenn Sie das nicht wollen, nutzen Sie stattdessen den Canonical-Tag, um auf eine andere Seite zu verweisen.

Fazit

Der Meta Robots Tag ist eines der mächtigsten Instrumente für die technische SEO-Steuerung. Er ist ein präzises Skalpell. Wo die robots.txt das grobe Werkzeug ist, erlaubt der Meta Robots Tag eine fein abgestimmte Kontrolle über das, was Google von Ihrer Webseite sehen und indexieren darf. Ein professioneller Umgang damit ist der Unterschied zwischen einer Webseite, die ihre volle Kraft im Index entfaltet, und einer Webseite, die durch technische Fehler an Sichtbarkeit verliert. Verstehen Sie den Meta Robots Tag als das Instrument, mit dem Sie die Identität Ihrer Seite in den Suchergebnissen aktiv gestalten.

Häufig gestellte Fragen (FAQ)

Ist noindex, nofollow die beste Wahl, um eine Seite komplett zu verstecken?
Das kommt auf das Ziel an. Wenn die Seite aus dem Index soll, ist noindex richtig. Das nofollow sorgt dafür, dass Links auf der Seite nicht verfolgt werden. Aber Vorsicht: Wenn Sie keine andere Möglichkeit haben, die Seite zu erreichen, ist noindex allein oft ausreichend.

Was passiert, wenn ich noindex und index gleichzeitig schreibe?
Das führt zu widersprüchlichen Anweisungen. Google ist in der Regel intelligent genug, das strengere Tag (noindex) zu priorisieren, aber Sie sollten niemals solche Fehler in Ihrem Code haben. Das ist ein Zeichen für unsaubere technische SEO.

Kann ich das noindex-Tag auch über die robots.txt setzen?
Nein, das ist technisch nicht möglich. noindex ist eine Anweisung für den Indexierungs-Prozess, die robots.txt ist eine Anweisung für den Crawling-Prozess. Sie funktionieren auf unterschiedlichen Ebenen.

Beeinflusst nofollow das Crawl-Budget?
Ja. Wenn Sie eine Seite mit nofollow ausstatten, verhindern Sie, dass die Links auf dieser Seite gecrawlt werden. Das kann dazu beitragen, das Crawl-Budget auf andere, wichtigere Seiten umzulenken, aber es ist ein Instrument, das man mit Vorsicht einsetzen sollte.

Wird der Meta Robots Tag von allen Suchmaschinen verstanden?
Ja, der Meta Robots Tag ist ein Industriestandard. Google, Bing und andere große Suchmaschinen unterstützen ihn problemlos.

Zuletzt aktualisiert: 14. Juli 2026 um 13:25 Uhr

Jan Siefken – Senior SEO-Manager bei Position One

Über den Autor

Jan Siefken: SEO-Erfahrung aus der Praxis

Ich bin Jan Siefken, Senior SEO-Manager bei Position One. Seit 1998 beschäftige ich mich professionell mit Suchmaschinenoptimierung und unterstütze Unternehmen dabei, Websites und Onlineshops technisch, inhaltlich und strategisch besser für Google aufzustellen. 2003 habe ich mein BWL-Studium mit Schwerpunkt Marketing abgeschlossen. Schon damals stand SEO im Mittelpunkt meiner Arbeit: Meine Diplomarbeit beschäftigte sich mit Suchmaschinenoptimierung im Online-Marketing. Heute liegen meine Schwerpunkte in technischer SEO, Content-Optimierung, Shopware SEO und Generative Engine Optimization (GEO).

Jetzt Kontakt aufnehmen