Eines der genialsten Tools ist „wget”. Egal, ob man mal schnell nachschauen will, was ein HTTP-Server auf eine URL zurückliefert oder wenn man alle Präsentations-PDFs einer Konferenz herunterladen will, wget kann das – schnell und einfach.

Wie viele andere meiner Lieblingstools, stammt auch wget aus der GNU Software Familie und ist von der Kommandozeile aus zu bedienen. Für Windows gibt es aber sogar eine nette Windows-Hilfe.

wget ist entweder über die GNU Software Site erhältlich, oder für Windows auf der Seite von Christopher G. Lewis.
Wer noch mehr der wunderbaren GNU Utilities verwenden möchte, kann aber auch gleich zu GnuWin32 greifen, da ist wget auch dabei.

Einige Anwendungsbeispiele gefällig?

Alle PDFs einer Konferenz herunterladen?

wget -nd -r -A*.pdf http://www-5.ibm.com/at/symposium/

Lade mir alle PDFs vom IBM Symposium 2006 herunter, suche diese rekursiv ab dieser URL und lege bitte keine Unterverzeichnisse auf meinem Recher an.

Welcher Webserver läuft dort eigentlich und was liefert er auf die URL zurück?

C:\>wget -S --spider http://www.cargal.org/
--15:55:17--  http://www.cargal.org/
           => `index.html'
Resolving www.cargal.org... 81.3.4.111
Connecting to www.cargal.org[81.3.4.111]:80... connected.
HTTP request sent, awaiting response...
 1 HTTP/1.1 302 Found
 2 Date: Fri, 15 Sep 2006 13:55:18 GMT
 3 Server: Apache/1.3.33 (Debian GNU/Linux) PHP/4.3.10-16
 4 Location: http://www.cargal.org/drupal/index.php
 5 Keep-Alive: timeout=15, max=99
 6 Connection: Keep-Alive
 7 Content-Type: text/html; charset=iso-8859-1
Location: http://www.cargal.org/drupal/index.php [following]
--15:55:17--  http://www.cargal.org/drupal/index.php
           => `index.php'
Connecting to www.cargal.org[81.3.4.111]:80... connected.
HTTP request sent, awaiting response...
 1 HTTP/1.1 200 OK
 2 Date: Fri, 15 Sep 2006 13:55:18 GMT
 3 Server: Apache/1.3.33 (Debian GNU/Linux) PHP/4.3.10-16
 4 X-Powered-By: PHP/4.3.10-16
 5 Set-Cookie: PHPSESSID=3c9c65a3a03e8a1419447935d12729f4; expires=Sun, 08-Oct-06 17:28:38 GMT; path=/
 6 Expires: Thu, 19 Nov 1981 08:52:00 GMT
 7 Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
 8 Pragma: no-cache
 9 Keep-Alive: timeout=15, max=100
10 Connection: Keep-Alive
11 Content-Type: text/html; charset=iso-8859-1
200 OK

C:\>

-S um die komplette Antwort des Servers zu sehen und –spider, damit meine Festplatte nicht vollgemüllt wird.

Praktisch, nicht wahr?

Tagged as: choice, m3_bei_der_Arbeit, software, Tools, tools, wget | Author: Martin Leyrer
[Freitag, 20060915, 15:06 | permanent link | 0 Kommentar(e)