Zitat von
Deluge
Es ist schon tausend mal gesagt worden, aber trotzdem: Sie brauchen nicht zusehen! Mit robots.txt Google - auch ganz selektiv - aussperren, schon haben sie das. Aber sie wollen dennoch gefunden werden? ... Man kann eben nicht beides haben.
Eigentlich kann es nur eine Antwort auf die Idee mit dem Leistungsschutzgesetz geben - so etwas wie eine Strassenverkehrordnung für das Web: Man darf ja auch nicht mit einem Ochsenkarren auf eine Autobahn. Daher: Wer robots.txt nicht kennt und anzuwenden weiss, darf keinen grossen Webserver betreiben!