robots.txt-Generator
Eine robots.txt mit KI-Crawler-Sperr- oder -Erlaubnislisten bauen, Regeln pro Bot, Crawl-Delay und Sitemap-Anweisungen — dann kopieren oder herunterladen.
Presets
Site-wide rules (User-agent: *)
AI crawlers
- GPTBotOpenAI · model training
- OAI-SearchBotOpenAI · search index
- ChatGPT-UserOpenAI · user-triggered fetch
- ClaudeBotAnthropic · model training
- Claude-UserAnthropic · user-triggered fetch
- PerplexityBotPerplexity · answer engine
- Google-ExtendedGoogle · AI training (not Search)
- CCBotCommon Crawl · open dataset
- Applebot-ExtendedApple · AI training
- BytespiderByteDance · aggressive crawler
- AmazonbotAmazon · AI and Alexa
- FacebookBotMeta · AI training
- meta-externalagentMeta · AI training (new)
robots.txt
Dieses Tool läuft vollständig in Ihrem Browser. Ihre Daten verlassen Ihr Gerät nie — sie werden auf keinen Server hochgeladen.
So verwenden Sie es
- 1Wählen Sie eine Voreinstellung: alle erlauben, KI-Trainings-Bots sperren oder alles sperren.
- 2Justieren Sie jeden KI-Crawler mit Erlauben, Sperren oder keiner Regel, und fügen Sie Disallow-Pfade für User-agent: * hinzu.
- 3Fügen Sie Ihre Sitemap-URL hinzu, dann kopieren oder laden Sie die Datei in Ihren Site-Wurzel herunter.
robots.txt-Generator
robots.txt steuert den Crawler-Zugang, bevor eine Seite überhaupt abgerufen wird. Über die klassischen User-agent: *-Regeln hinaus entscheiden Sie jetzt pro KI-Bot: suchnahe Crawler wie OAI-SearchBot und PerplexityBot erlauben, Trainings-Crawler wie GPTBot, ClaudeBot, Google-Extended, CCBot und Bytespider sperren — oder Ihre eigene Mischung bauen.
Der Generator gruppiert User-Agents mit derselben Regel, ergänzt crawl-delay, wo es beachtet wird, und hängt Ihre Sitemap-Anweisung an. Kopieren Sie die Datei in Ihren Domainwurzel unter /robots.txt und prüfen Sie sie im robots-Bericht der Search Console.
Häufige Fragen
Ist robots.txt eine Sicherheitskontrolle?
Nein. Sie ist beratend: Regelkonforme Crawler befolgen sie, aber jeder kann sie lesen — und sie wirbt mit Ihren privaten Pfaden. Schützen Sie sensible Bereiche mit Authentifizierung; verlassen Sie sich nie auf Disallow für Sicherheit.
Beachten KI-Crawler robots.txt wirklich?
Die großen, dokumentierten — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot — geben robots.txt-Unterstützung an, aber die Befolgung ist freiwillig und variiert je nach Betreiber. Für harte Garantien sperren Sie auf der CDN- oder Firewall-Ebene.
Warum ist meine Seite trotz Disallow weiter indexiert?
Das Blockieren des Crawlens ist nicht das Blockieren des Indexierens: Wenn andere Seiten auf die URL verweisen, kann Google sie ohne Inhalt indexieren. Um eine Seite aus den Ergebnissen zu nehmen, erlauben Sie das Crawlen und nutzen Sie stattdessen ein noindex-Meta-Tag.
Verwandte Tools
XML-Sitemap-Generator
Eine URL-Liste einfügen und eine gültige sitemap.xml mit lastmod, changefreq und priority je Abschnitt erhalten — dedupliziert und einreichbereit.
Alle Tools →
Meta-Tag-Generator
Titel-, Beschreibungs-, Keywords-, Robots- und Viewport-Meta-Tags erzeugen, mit Live-HTML-Ausgabe zum direkten Einfügen in Ihren <head>.
Alle Tools →
Canonical-Tag-Generator
Ein korrektes rel=canonical-Link-Tag erzeugen und lernen, wie Sie URLs normalisieren, damit Suchmaschinen die eine Fassung indexieren, die Sie wollen.
Alle Tools →
Dieses Tool einbetten
Binden Sie dieses Tool mit einer Zeile in Ihre Website ein — es läuft im Browser des Besuchers.
<iframe src="https://zoyku.com/de/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>