Google crawlt fleißig alles, was es finden kann – auch die Seiten, die du gar nicht haben willst. Alte Testseiten, Admin-Bereiche, doppelte Inhalte. Ein echtes Chaos, das deine Rankings killt.
Das Problem? Die meisten Website-Betreiber überlassen Google komplett das Steuer. Dabei gibt es zwei mächtige Werkzeuge, mit denen du genau kontrollieren kannst, was indexiert wird und was nicht.
Die robots.txt – Dein digitaler Türsteher
Stell dir vor, Google ist ein sehr neugieriger Besucher, der durch dein Haus wandert. Die robots.txt ist wie ein Türsteher, der sagt: „Hier dürft ihr rein, da bitte nicht.“
Diese kleine Textdatei liegt im Root-Verzeichnis deiner Website und gibt Suchmaschinen klare Anweisungen. Klingt simpel, oder? Ist es auch – wenn man weiß, wie’s geht.
Die Grundstruktur ist eigentlich ziemlich logisch:
User-agent: *
Disallow: /admin/
Allow: /admin/public/
Crawl-delay: 1
User-agent bestimmt, für welche Bots die Regel gilt. Das Sternchen bedeutet „alle“. Du kannst aber auch spezifisch werden: User-agent: Googlebot spricht nur Google an.
Disallow sperrt Bereiche. /admin/ bedeutet: „Alles was mit /admin/ anfängt, ist tabu.“
Allow macht Ausnahmen. Selbst wenn /admin/ gesperrt ist, kann /admin/public/ trotzdem erlaubt werden.
Crawl-delay bremst übereifrige Bots aus. Eine Sekunde Pause zwischen den Anfragen schont deinen Server.
Die häufigsten robots.txt Katastrophen
Naja, hier wird’s interessant. Ich hab schon Websites gesehen, die sich komplett ausgesperrt haben. Ein einzelner Slash zu viel – und Google findet nichts mehr.
Fehler Nr. 1: Der Totalausschluss
User-agent: *
Disallow: /
Das sperrt deine komplette Website aus. Autsch. Passiert häufiger als du denkst, besonders wenn Entwickler schnell mal „alles blockieren“ wollen.
Fehler Nr. 2: CSS und JavaScript blockieren Früher hat man das gemacht. Heute bestraft Google das sogar:
Disallow: /css/
Disallow: /js/
Google braucht diese Dateien, um deine Seite richtig zu verstehen. Blockierst du sie, kann Google nicht sehen, wie deine Seite wirklich aussieht.
Fehler Nr. 3: Wichtige Bereiche versehentlich sperren
Disallow: /blog
Ohne den Slash am Ende sperrt das auch /blogpost/, /blogger/ und alles andere, was mit „blog“ anfängt. Ziemlich fies, wenn dein Content-Marketing darauf aufbaut.
XML-Sitemap – Die Schatzkarte für Google
Während die robots.txt sagt „Hier nicht!“, zeigt die XML-Sitemap: „Schau mal, das ist wichtig!“
Eine Sitemap ist wie eine Schatzkarte. Sie führt Google direkt zu deinen wertvollsten Seiten. Ohne Umwege, ohne langes Suchen.
Die Struktur sieht so aus:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://beispiel.de/wichtige-seite/</loc>
<lastmod>2025-01-15</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
loc ist die URL der Seite. Logisch.
lastmod zeigt, wann die Seite zuletzt geändert wurde. Google kann so priorisieren, was neu gecrawlt werden muss.
changefreq ist ein Hinweis, wie oft sich der Inhalt ändert. Ehrlich gesagt – Google ignoriert das meistens. Aber schaden tut’s nicht.
priority war mal wichtig. Heute auch eher Dekoration. Google entscheidet selbst, was wichtig ist.
Was gehört in die Sitemap – und was nicht
Hier wird’s strategisch. Nicht jede URL verdient einen Platz in deiner Sitemap.
Rein gehört:
- Deine wichtigsten Landingpages
- Aktuelle Blog-Artikel
- Produktseiten mit echtem Wert
- Seiten, die schwer zu finden sind
Draußen bleiben:
- 404-Seiten (logisch, oder?)
- Seiten mit noindex-Tag
- Duplikate und Near-Duplikates
- Unwichtige Filter- oder Sortierseiten
- Login-Bereiche
Übrigens: Eine Sitemap darf maximal 50.000 URLs enthalten und nicht größer als 50 MB werden. Bei größeren Sites brauchst du mehrere Sitemaps – oder eine Sitemap-Index-Datei.
Die perfekte Verbindung – robots.txt und Sitemap
Hier kommt der Trick: Du verknüpfst beide Tools miteinander. In deine robots.txt schreibst du:
User-agent: *
Disallow: /admin/
Disallow: /private/
Sitemap: https://deine-website.de/sitemap.xml
So weiß Google sofort, wo deine Sitemap liegt. Clever, oder?
Du kannst auch mehrere Sitemaps verlinken:
Sitemap: https://deine-website.de/sitemap-pages.xml
Sitemap: https://deine-website.de/sitemap-blog.xml
Sitemap: https://deine-website.de/sitemap-products.xml
Das macht bei größeren Sites total Sinn. Thematische Trennung hilft Google beim Verstehen deiner Website-Struktur.
Aktualität ist alles – lastmod richtig nutzen
Das lastmod-Tag ist mächtiger, als die meisten denken. Es sagt Google: „Hey, hier hat sich was getan!“
Aber – und das ist wichtig – nur nutzen, wenn sich wirklich was geändert hat. Wenn du bei jedem Crawl das Datum aktualisierst, ohne dass sich Content geändert hat, verliert Google das Vertrauen.
Viele CMS machen das automatisch falsch. WordPress zum Beispiel ändert oft das lastmod, wenn nur ein Kommentar dazukommt. Das verwirrt Google mehr, als es hilft.
Besser: Nur bei echten Content-Updates das Datum ändern. Bei neuen Artikeln, überarbeiteten Produktbeschreibungen oder wichtigen Ergänzungen.
Tools für die Überwachung – So checkst du deine Konfiguration
Google Search Console ist dein bester Freund hier. Unter „Sitemaps“ siehst du sofort, ob Google deine Sitemap verarbeiten kann. Unter „robots.txt-Tester“ checkst du, ob deine Regeln funktionieren.
Pro-Tipp: Der URL-Prüfungstool in der Search Console zeigt dir genau, warum eine Seite nicht indexiert wird. Manchmal liegt’s an der robots.txt, manchmal an der Sitemap-Konfiguration.
Screaming Frog ist auch gold wert. Das Tool crawlt deine Site wie Google und zeigt dir sofort, welche Seiten blockiert sind und welche in der Sitemap fehlen.
Große Websites – Wenn’s kompliziert wird
Bei Sites mit Millionen von Seiten wird’s tricky. 50.000 URLs pro Sitemap sind schnell erreicht. Hier brauchst du eine Sitemap-Index-Datei:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.com/sitemap1.xml</loc>
<lastmod>2025-01-15</lastmod>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap2.xml</loc>
<lastmod>2025-01-15</lastmod>
</sitemap>
</sitemapindex>
Der Index verlinkt auf einzelne Sitemaps. So kannst du theoretisch unbegrenzt viele URLs strukturiert organisieren.
Bei E-Commerce-Sites macht thematische Trennung Sinn: Eine Sitemap für Kategorien, eine für Produkte, eine für Blog-Artikel. Das hilft Google beim Verstehen deiner Website-Architektur.
Dynamische Sitemaps – Automatisch aktuell bleiben
Statische XML-Dateien sind out. Heute generierst du Sitemaps dynamisch aus deiner Datenbank. So sind sie immer aktuell.
Bei WordPress macht das Yoast SEO automatisch. Bei custom Websites programmierst du ein Script, das die Sitemap aus deinen aktuellen Inhalten generiert.
Wichtig: Cache die Sitemap! Sonst bremst du deinen Server aus, wenn Google täglich hunderte Male deine Sitemap abruft.
Apropos – wie oft aktualisiert Google eigentlich deine Sitemap? Das hängt von deiner Website ab. News-Sites werden täglich gecrawlt, kleine Business-Sites vielleicht nur einmal pro Woche.
Häufige Missverständnisse aufgedeckt
„Wenn ich eine URL in die robots.txt mit Disallow sperre, verschwindet sie aus dem Index.“
Nein! robots.txt verhindert nur das Crawlen, nicht die Indexierung. Wie Google Search Central erläutert, steuert die robots.txt den Crawling-Traffic und legt fest, auf welche Verzeichnisse Crawler zugreifen dürfen – ohne eine Garantie auf De-Indexierung. Wenn andere Sites auf die gesperrte Seite verlinken, kann sie trotzdem im Index landen – allerdings ohne Beschreibung.
„Mehr URLs in der Sitemap = bessere Rankings.“
Auch falsch. Qualität schlägt Quantität. 100 hochwertige, relevante URLs sind besser als 10.000 unwichtige.
„changefreq und priority sind Ranking-Faktoren.“
Nope. Google nutzt das höchstens als schwachen Hinweis. Viel wichtiger ist die tatsächliche Relevanz und Qualität der Inhalte.
Integration in deine SEO-Strategie
robots.txt und XML-Sitemap sind Teil deiner technischen SEO-Optimierung. Sie arbeiten Hand in Hand mit anderen technischen Faktoren.
Wenn du gerade dabei bist, deine Core Web Vitals zu optimieren, vergiss nicht: Schnelle Ladezeiten nützen nichts, wenn Google die wichtigen Seiten gar nicht findet.
Die Kombination macht’s: Technisch saubere Grundlage plus strategische Steuerung von Crawling und Indexierung.
Testing und Monitoring – So bleibst du auf der sicheren Seite
Einmal einrichten reicht nicht. Du musst regelmäßig prüfen, ob alles noch funktioniert.
Monatlicher Check:
- Search Console auf Sitemap-Fehler prüfen
- robots.txt-Tester durchlaufen lassen
- Neue wichtige Seiten zur Sitemap hinzufügen
- Crawl-Statistiken analysieren
Wenn Google plötzlich viel weniger oder viel mehr Seiten crawlt als sonst, ist oft die robots.txt oder Sitemap-Konfiguration schuld.
Quarterly solltest du auch mal mit Screaming Frog crawlen und schauen, ob deine internen Verlinkungen noch zur Sitemap-Strategie passen.
Der Blick nach vorn – Was sich ändert
Google wird immer schlauer beim Verstehen von Website-Strukturen. Trotzdem bleiben robots.txt und XML-Sitemaps wichtig – sie sind deine direkteste Kommunikation mit den Suchmaschinen.
Neue Entwicklungen wie strukturierte Daten ergänzen das System, ersetzen es aber nicht. Die Grundprinzipien – klare Kommunikation und strategische Steuerung – bleiben bestehen.
Mir ist neulich aufgefallen, wie oft selbst erfahrene SEOs diese Basics vernachlässigen. Dabei sind sie das Fundament für alles andere. Ohne saubere technische Grundlage verpufft der beste Content.
Es ist wie bei einem Haus: Du kannst die schönsten Möbel haben – wenn das Fundament nicht stimmt, steht am Ende nichts mehr richtig. robots.txt und XML-Sitemap sind dieses unsichtbare, aber entscheidende Fundament deiner SEO-Strategie.
Also, check mal deine robots.txt. Ist sie noch aktuell? Führt sie Google zu den richtigen Stellen? Und deine Sitemap – spiegelt sie wirklich deine wichtigsten Inhalte wider?
Zeit, Google endlich zu zeigen, wo’s langgeht.
