robots.txt-Generator
Pfade eintragen, die nicht gecrawlt werden sollen, Sitemap ergänzen und entscheiden, ob KI-Crawler blockiert werden. Fertige robots.txt herunterladen.
Kostenlos, ohne Registrierung. Alles läuft in Ihrem Browser. Ihre Daten verlassen Ihr Gerät nicht.
So funktioniert es
- 1Sitemap-URL eingeben.
- 2Gesperrte Pfade eintragen, einen pro Zeile.
- 3Entscheiden, ob KI-Bots blockiert werden.
- 4Datei herunterladen und im Stammverzeichnis ablegen.
Über dieses Tool
robots.txt ist eine Datei im Stammverzeichnis, die Suchmaschinen sagt, welche Bereiche sie nicht crawlen sollen. Sie dient nicht dem Verstecken sensibler Daten, sondern der Steuerung von Crawlern.
KI-Unternehmen nutzen eigene Bots (GPTBot, ClaudeBot, Google-Extended, PerplexityBot). Sie zu blockieren verhindert das Training mit Ihren Inhalten, verringert aber auch die Chance, von KI-Suchmaschinen zitiert zu werden.
Was ist robots.txt und wofür ist sie tatsächlich da
Die robots.txt ist eine einfache Textdatei, die im Wurzelverzeichnis Ihrer Domain liegt, unter der Adresse https://beispiel.de/robots.txt. Crawler lesen sie zuerst und durchsuchen erst danach die Website. Die Regeln sind einfach: User-agent legt fest, für wen die Regel gilt, Disallow verbietet den Zugriff auf einen Pfad, und Allow nimmt ihn von einem umfassenderen Verbot aus. Das Sternchen * steht für alle Bots.
Wichtig ist zu verstehen, was die Datei ist und was sie nicht ist. Sie ist eine Empfehlung, kein Schutz. Ein Bot, der die Regeln respektiert, wird sich daran halten, ein bösartiger Scraper jedoch nicht. Legen Sie deshalb niemals Passwörter, API-Schlüssel, Backup-Dateien oder Admin-Panels auf der Website ab in der Hoffnung, dass robots.txt sie verbirgt. Wenn etwas nicht öffentlich sein darf, schützen Sie es durch Authentifizierung oder .htaccess-Regeln.
Eine weitere wichtige Rolle ist die Einsparung des Crawl-Budgets. Auf einer Website mit Zehntausenden von URLs können Filter, Sortierungen und Kalender die Zeit des Crawlers für wertlose Seiten verbrauchen. Das Blockieren solcher Pfade hilft Google, sich auf die Inhalte zu konzentrieren, die Traffic bringen.
So schreiben Sie eine robots.txt für Ihre Website
Die Reihenfolge der Schritte ist wichtig, denn die Regeln werden von oben nach unten gelesen, und die spezifischste Regel gewinnt.
- Definieren Sie eine Gruppe für alle Bots:
User-agent: * - Fügen Sie Verbote für technische und doppelte Pfade hinzu, zum Beispiel
Disallow: /wp-admin/,Disallow: /search,Disallow: /*?sort= - Erlauben Sie das, was innerhalb eines verbotenen Pfades liegt und indexiert werden muss:
Allow: /wp-admin/admin-ajax.php - Geben Sie die Sitemap an:
Sitemap: https://beispiel.de/sitemap.xml - Speichern Sie die Datei im Wurzelverzeichnis und prüfen Sie sie im Testtool für robots.txt-Dateien der Google Search Console.
Ein praktischer Tipp: Schreiben Sie Pfade ohne Domain und mit einem Schrägstrich am Anfang. Disallow: /warenkorb ist korrekt, Disallow: beispiel.de/warenkorb ist es nicht. Wenn Sie alles außer einem einzigen Pfad blockieren möchten, ist das möglich, aber leicht fehleranfällig, prüfen Sie das Ergebnis daher zweimal.
Sollten Sie KI-Crawler blockieren
KI-Unternehmen verwenden eigene Bots: GPTBot, ClaudeBot, Google-Extended, PerplexityBot und andere. Das Blockieren verhindert das Training von Modellen mit Ihrem Text, verringert jedoch gleichzeitig die Chance, dass KI-Suchmaschinen Sie als Quelle zitieren. Für die meisten Unternehmen, die von Sichtbarkeit leben, ist eine bessere Strategie, sie zuzulassen und ihnen saubere Inhalte sowie eine llms.txt-Datei mit einer kurzen Beschreibung der Website und der wichtigsten Seiten anzubieten.
Es gibt Ausnahmen. Websites mit Originalrecherchen, kostenpflichtigen Inhalten oder urheberrechtlich geschütztem Text können das Training begründet blockieren, aber das Zitieren erlauben. Einige Bots unterstützen dies über getrennte Namen, prüfen Sie daher die Dokumentation, bevor Sie eine Regel schreiben.
Die häufigsten Fehler beim Erstellen einer robots.txt-Datei
Das häufigste Problem ist das Blockieren eines ganzen Bereichs, der auch Seiten enthält, die indexiert werden sollen. Beispiel: Disallow: /blog/ entfernt auch die Texte, die Besucher bringen. Der nächste Fehler ist, sich auf Disallow zu verlassen, um eine Seite aus dem Google-Index zu entfernen. Wenn die Seite bereits indexiert ist, verhindert das Blockieren des Crawlers, dass Google das noindex-Meta-Tag sieht, sodass die Seite mit einer veralteten Beschreibung in den Ergebnissen bleiben kann. Verwenden Sie zum Entfernen noindex und Disallow nur als vorübergehende Maßnahme.
Der dritte Fehler ist ein falscher Pfad zur Sitemap-Datei oder eine vergessene Sitemap-Zeile. Der vierte ist das Kopieren einer fremden Datei ohne Anpassung an die Struktur der Website. Der fünfte ist das Blockieren von CSS- und JS-Dateien, wodurch Google die Seite nicht korrekt rendern und bewerten kann.
Wenn Sie mehrere Subdomains haben, denken Sie daran, dass jede Domain ihre eigene robots.txt hat. Wenn eine Website Tausende von URLs, mehrere Sprachversionen und komplexe Regeln pro Bot hat, wird die manuelle Pflege riskant. In solchen Fällen kann EVI Solutions bei der technischen SEO-Einrichtung und Automatisierung helfen.
Häufige Fragen
Wo liegt die robots.txt?
Im Stammverzeichnis der Domain, z. B. https://ihredomain.de/robots.txt.
Sollte ich KI-Bots blockieren?
Wenn Sie von ChatGPT und KI-Suchmaschinen empfohlen werden möchten, lassen Sie sie zu.
Entfernt Disallow eine Seite aus Google?
Nicht unbedingt. Dafür nutzen Sie ein noindex-Tag.