Webseiten anzapfen und Dateien herunterladen mit Curl

Daten auf Webseiten zu nutzen ist schwierig: Logins und Cookies sind oft Voraussetzung für den Zugriff. Mit dem Open-Source-Tool Curl gelingt das trotzdem.

Lesezeit: 15 Min.
In Pocket speichern
vorlesen Druckansicht Kommentare lesen 9 Beiträge

(Bild: Thomas Kuhlenbeck)

Von
  • Tim Schürmann
Inhaltsverzeichnis

Daten aus Webseiten abzuschöpfen ist kompliziert, denn Website-Betreiber möchten ihre Schätze nur selten teilen und ergreifen verschiedene Maßnahmen, um ein Abfischen von Informationen zu verhindern. Genügte es früher meist, die gewünschte URL mit einem beliebigen Download-Tool abzurufen, überprüfen Webserver häufig den vorgeblichen Browsertyp oder erfordern Cookies und Logins. Mit Curl können Sie auch Daten oder Dateien solcher Websites herunterladen, aber auch auf viele andere Serverdienste zugreifen, denn Curl unterstützt neben HTTP und HTTPS etliche weitere Protokolle, darunter IMAP(S), SMB, (S)FTP und SCP.

Curl gibt es für Windows, macOS und Linux. Unter Linux gehört Curl oft zur Standardinstallation oder ist in den Standard-Paket-Repositories der Distribution enthalten, für macOS, Windows und viele andere Plattformen finden Sie auf der Projektseite curl.se eine Liste mit Download-Links, teilweise zu externen Anbietern. Die Parameter, und davon benötigt man mitunter etliche gleichzeitig, sind für alle Plattformen gleich.

Mehr zum Thema cURL

Im einfachsten Fall rufen Sie Curl mit der herunterzuladenden URL als einzigen Parameter auf, etwa unserem Security-RSS-Feed:

Immer mehr Wissen. Das digitale Abo für IT und Technik.

  • Zugriff auf alle Inhalte von heise+
  • exklusive Tests, Ratgeber & Hintergründe: unabhängig, kritisch fundiert
  • c't, iX, MIT Technology Review, Mac & i, Make, c't Fotografie direkt im Browser lesen
  • einmal anmelden – auf allen Geräten lesen - monatlich kündbar
  • erster Monat gratis, danach monatlich 12,95 €
  • Wöchentlicher Newsletter mit persönlichen Leseempfehlungen des Chefredakteurs
GRATIS-Monat beginnen Jetzt GRATIS-Monat beginnen Mehr Informationen zu heise+