Menü
aus ein
Ansicht umschalten Baum an
Avatar von Low012
  • Low012

mehr als 1000 Beiträge seit 14.11.2000

Re: Projektstart: Geduld nötig

Lord Vetinari schrieb am 29. November 2011 11:48

> Ich habe den Crawler so eingestellt, dass er nur wenige GB belegen
> darf - will mir schließlich nicht meinen PC zumüllen. Beim crawlen
> einer Domain verstehe ich nicht, dass nicht standardmäßig Links auf
> andere Domains gefolgt wird (nur bei "Experten Crawl" einstellbar).

Vielleicht ist ja "Experten Crawl" ein bisschen zu hochtrabend
formuliert...

Ursprünglich gab es nur die "Experten Crawl"-Seite, aber wir haben
gemerkt, dass die Zahl der Optionen die meisten Leute auf den ersten
Blick verwirrt und erschreckt. Daher gibt es seit einiger Zeit
zusätzlich die "normale" Seite, die für den recht häufig vorkommenden
Use-Case gemacht ist, dass man eine Ressource möglichst komplett
erfassen möchte. Dabei wird u.a. die maximale Tiefe des Baums, der
die Links enthält, die der Crawler abarbeitet, auf 99 gesetzt, was
keine gute Idee wäre, wenn man dazu noch links in anderen Domains
folgen würde, weil das einfach viel zu viele Links wären.

Bewerten
- +
aus ein
Ansicht umschalten Baum an
Anzeige