|
Robots.txt - Generator
Damit Ihre Homepage in einer Suchmaschine aufgenommen werden kann, besucht zunächst ein sogenannter Suchmaschinen-Crawler (Spider/Bot) Ihre Homepage und liest alle Daten ein. Dieser Vorgang erfolgt vollautomatisch und je nach Suchmaschine, in Abständen von ~ 1 - 30 Tagen.
Bevor die Daten (Texte, Metatags, Hyperlinks etc.) Ihrer Homepage erfasst werden, sucht der Crawler stets erst nach einer robots.txt - Datei, um zuerfahren welche Inhalte er lesen & speichern darf.
Mit einer robots.txt - Datei steuern Sie die Spider/Crawler aller relevanten Suchmaschinen, geben Daten frei oder sperren bestimmte Verzeichnisse.
Da robots.txt bei jedem Crawlerbesuch angefordert wird, sollte diese Datei auf keinem Webspace fehlen.
Sehr sinnvoll ist der Einsatz einer robots.txt-Datei auch, um die inzwischen grosse Anzahl automatisierter Datensammler (Scanner) zu stoppen, die die Daten Ihrer Homepage häufig nur für eigene kommerzielle Zwecke nutzen.
Im Nebeneffekt sparen Sie mit einer optimierten robots.txt u.U. beträchtliche Trafficmengen bzw. vermeiden unnötige Performanceverluste.
Mit folgendem Generator erstellen Sie online in 2 bzw. 3 Schritten Ihre individuelle robots.txt, die anschliessend nur noch auf Ihren Webspace abgelegt werden muss.
Alternativ können Sie eine robots.txt auch von Hand anlegen, indem Sie eine gleichnamige Datei erstellen und den folgenden Code in diese Datei einfügen:
Zugriff für eine Suchmaschine verbieten:
User-agent: NAME_DER_SUCHMASCHINE
Disallow: /
Um den Zugriff auf alle Daten Ihrer Homepage für alle Suchmaschinen zu erlauben, erstellen Sie einfach eine leere robots.txt und
laden Sie sie auf Ihren Webspace.
|
Online Tools
