Menü
aus ein
Ansicht umschalten Baum an
Avatar von der König der Trolle
  • der König der Trolle

mehr als 1000 Beiträge seit 22.01.2005

Du könntest gebannt werden.

Kann sein, dass man Deinen Bot für irgendeinen Contentkopierbot oder
EMailadressensucher oder etwas ähnliches hält. Wer nicht wichtig ist,
darf nicht crawlen.

Einige Webmaster blocken sogar schon Yahoo oder MSN, weil der vom
Crawler erzeugte Traffic (Den die Webmaster ja zahlen müssen!) in
keinem Verhältnis zu den Besuchern oder anderen erwünschten
Ergebnissen steht.
Bewerten
- +
Anzeige