Robots.txt-Generator

Generieren Sie eine Crawler-freundliche robots.txt-Datei mit User-Agent-, Zulassen/Nicht-Zulassen- und Sitemap-Regeln.

Site URL

Include sitemap

Need multiple sitemap files? Enter an index file or duplicate the sitemap line inside the output.

Generated robots.txt

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

User-agent: Googlebot
Allow: /

Sitemap: https://example.com/sitemap.xml

User-agent Rules

Add blocks for each crawler and list the paths they can or cannot crawl.

Default Rules

User-agent rules

User-agent

Crawl-delay (seconds)

Disallow paths

Allow paths

Quick snippets

Googlebot

User-agent rules

User-agent

Crawl-delay (seconds)

Disallow paths

Allow paths

Quick snippets

Warum dieses Tool verwenden?

Ein kostenloses, browserbasiertes Tool – schnell, privat und ohne Anmeldung nutzbar.

100 % Privat

Alle Verarbeitungen erfolgen lokal in deinem Browser. Deine Daten verlassen dein Gerät nicht.

Sofortergebnis

Keine Wartezeiten und keine Server-Uploads – das Ergebnis erscheint sofort.

Kostenlos

Komplett kostenlos und unbegrenzt nutzbar – kein Account erforderlich.

Einfach kopieren

Ergebnis mit einem Klick kopieren oder als Datei herunterladen.

So funktioniert Robots.txt-Generator

Dieses Werkzeug Robots.txt-Generator funktioniert vollstaendig in Ihrem Browser, damit Sie sofort Ergebnisse ohne komplizierte Einrichtung erhalten. Generieren Sie eine Crawler-freundliche robots.txt-Datei mit User-Agent-, Zulassen/Nicht-Zulassen- und Sitemap-Regeln. Die gesamte Verarbeitung erfolgt clientseitig auf Ihrem Geraet. Das verbessert den Datenschutz, vermeidet unnoetige Uploads und macht die Nutzung besonders schnell. Sie koennen das Werkzeug kostenlos verwenden, Vorgaenge beliebig oft wiederholen und Ergebnisse direkt uebernehmen.

So verwenden Sie Robots.txt-Generator

Set Domain & Sitemap

Enter your site URL and choose whether to include the sitemap line.

Add User Agents

Create rule blocks for Googlebot, Bingbot, or any custom crawler.

Customize Paths

Add Allow/Disallow patterns, then copy the generated robots.txt output.

Anwendungsbeispiel

Hier ist ein typisches Beispiel, wie dieses Werkzeug Ihre Daten transformiert:

Eingabe

User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /public/ User-agent: Googlebot Disallow: /images/private/ Allow: /images/public/ Sitemap: https://example.com/sitemap.xml

Ausgabe

User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /public/ User-agent: Googlebot Disallow: /images/private/ Allow: /images/public/ Sitemap: https://example.com/sitemap.xml

Häufig gestellte Fragen

Should every site use robots.txt?

Yes. Even a simple robots.txt file helps crawlers understand what to skip and where to find your sitemap.

What is crawl-delay?

Crawl-delay tells specific bots to wait a certain number of seconds between requests. It is optional and not supported by every crawler.

Can I block entire file types?

Yes. Use patterns such as /*.pdf$ or /*.zip$ in a Disallow rule to prevent bots from crawling specific file extensions.

Do Allow rules override Disallow?

Allow rules take precedence when a path matches both directives. Place the Allow first to make the intent clear.

Where should I place robots.txt?

Always serve robots.txt from the root of your domain, e.g., https://example.com/robots.txt, so crawlers can discover it automatically.

Verwandte Werkzeuge

Ausprobieren

.htaccess-Generator

Erstellen Sie Apache-Rewrite-, HTTPS-, Caching- und Hotlink-Schutzregeln.

Ausprobieren

Titelgenerator

Generieren Sie einprägsame Titel für Inhalte.

Ausprobieren

Meta-Tag-Generator

Generieren Sie optimierte Metatitel, Beschreibungen, kanonische und soziale Tags.

Ausprobieren

Hreflang-Tags-Generator

Generieren Sie Hreflang-Link-Tags für jedes Sprach-/Regionspaar, einschließlich x-default.

Ausprobieren

Schema-Markup-Generator

Generieren Sie JSON-LD-Schema-Markup für bessere SEO. Unterstützung für Artikel, LocalBusiness, Produkt und mehr.

Ausprobieren

APA-Zitiergenerator

Generieren Sie sofort genaue APA-Zitate für Bücher, Websites und Zeitschriften.

Robots.txt-Generator wird von CodeItBro gewartet. Wir streben danach, die besten kostenlosen Entwicklerwerkzeuge im Web bereitzustellen. Wenn Sie Feedback oder Vorschläge haben, besuchen Sie bitte unsere Kontaktseite.

Bekannt aus