Robots.txt-Generator/ Crawler-Konfiguration

Robots.txt online generieren für Crawler-Zugriffsregeln.

User-agent

Disallow

Allow

Sitemap URL

robots.txt

Hat dieses Tool Ihr Problem gelöst?

FAQ

Was ist Robots.txt?

Eine Textdatei im Website-Stammverzeichnis für Crawler-Zugriffsregeln.

Disallow vs Allow?

Disallow verbietet Zugriff, Allow erlaubt Zugriff.

Warum Sitemap deklarieren?

Hilft Suchmaschinen, Ihre Sitemap schneller zu finden.

Sitemap Generator

Generate sitemap.xml online with multi-language and priority support

Meta Tag Checker

Check webpage meta tags, Open Graph, Twitter Card and SEO info

URL Parser

Parse URL components: protocol, host, path, query, hash