Alle URL mit Fragezeichen für Crawler sperren bzw. verbieten

Problem: Suchmaschinen Roboter durchsucht Ihre Webseite und finden dabei URLs mit Doppelten Content oder gleiche Meta Angaben, obwohl Sie absichtlich keine produziert haben. Das kommt oft in den CMS vor, die an der URL noch weitere Parameter anhängen. Zum Beispiel domainname.de/site und domainname.de/site?SSID=123. Obwohl der Inhalt der Webseite gleich ist, "sieht" ein Crawler aber zwei URL mit identischen Inhalten.

Lösung: Um dies zu vermeiden, muss nur eine einzige Zeile in der Datei robots.txt angefügt werden. Falls diese Datei noch nicht existiert, kann diese mit einem einfachen Texteditor angelegt werden. Diese robots.txt Datei muss sich im Heimatverzeichnis der Webseite befinden und über die URL "ihrewebseite.de/robots.txt" mit dem Browser zu öffnen sein. Um alle URLs mit dem Fragezeichen für Crawler zu sperren muss folgende Zeile in der robots.txt eingefung werden:

Disallow: /*?

Wir wünschen Ihenn viel Erfolg im Netz!

 

 

 

Alle Preise inkl. MwSt