Schritt 1 Wählen Sie eine Option aus: Erlaubt allen Crawler, Ihre Webseiten zu indizieren. Verbietet allen Crawler, Ihre Webseiten zu indizieren. Verbietet allen Crawler bestimmte Dateien zu indizieren. Verbietet bestimmten Crawler bestimmte Dateien zu indizieren.