Tools - wget

Eines der genialsten Tools ist „wget”. Egal, ob man mal schnell nachschauen will, was ein HTTP-Server auf eine URL zurückliefert oder wenn man alle Präsentations-PDFs einer Konferenz herunterladen will, wget kann das – schnell und einfach.

 


 


Wie viele andere meiner Lieblingstools, stammt auch wget aus der GNU Software Familie und ist von der Kommandozeile aus zu bedienen. Für Windows gibt es aber sogar eine nette Windows-Hilfe.

wget ist entweder über die GNU Software Site erhältlich, oder für Windows auf der Seite von Christopher G. Lewis.
Wer noch mehr der wunderbaren GNU Utilities verwenden möchte, kann aber auch gleich zu GnuWin32 greifen, da ist wget auch dabei.

Einige Anwendungsbeispiele gefällig?

Alle PDFs einer Konferenz herunterladen?

wget -nd -r -A*.pdf http://www-5.ibm.com/at/symposium/

Lade mir alle PDFs vom IBM Symposium 2006 herunter, suche diese rekursiv ab dieser URL und lege bitte keine Unterverzeichnisse auf meinem Recher an.

Welcher Webserver läuft dort eigentlich und was liefert er auf die URL zurück?

C:\>wget -S --spider http://www.cargal.org/
--15:55:17--  http://www.cargal.org/
           => `index.html'
Resolving www.cargal.org... 81.3.4.111
Connecting to www.cargal.org[81.3.4.111]:80... connected.
HTTP request sent, awaiting response...
 1 HTTP/1.1 302 Found
 2 Date: Fri, 15 Sep 2006 13:55:18 GMT
 3 Server: Apache/1.3.33 (Debian GNU/Linux) PHP/4.3.10-16
 4 Location: http://www.cargal.org/drupal/index.php
 5 Keep-Alive: timeout=15, max=99
 6 Connection: Keep-Alive
 7 Content-Type: text/html; charset=iso-8859-1
Location: http://www.cargal.org/drupal/index.php [following]
--15:55:17--  http://www.cargal.org/drupal/index.php
           => `index.php'
Connecting to www.cargal.org[81.3.4.111]:80... connected.
HTTP request sent, awaiting response...
 1 HTTP/1.1 200 OK
 2 Date: Fri, 15 Sep 2006 13:55:18 GMT
 3 Server: Apache/1.3.33 (Debian GNU/Linux) PHP/4.3.10-16
 4 X-Powered-By: PHP/4.3.10-16
 5 Set-Cookie: PHPSESSID=3c9c65a3a03e8a1419447935d12729f4; expires=Sun, 08-Oct-06 17:28:38 GMT; path=/
 6 Expires: Thu, 19 Nov 1981 08:52:00 GMT
 7 Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
 8 Pragma: no-cache
 9 Keep-Alive: timeout=15, max=100
10 Connection: Keep-Alive
11 Content-Type: text/html; charset=iso-8859-1
200 OK

C:\>

-S um die komplette Antwort des Servers zu sehen und –spider, damit meine Festplatte nicht vollgemüllt wird.

Praktisch, nicht wahr?

Tagged as: , , , , , | Author:
[Freitag, 20060915, 15:06 | permanent link | 0 Kommentar(e)

Comments are closed for this story.


Disclaimer

„Leyrers Online Pamphlet“ ist die persönliche Website von mir, Martin Leyrer. Die hier veröffentlichten Beiträge spiegeln meine Ideen, Interessen, meinen Humor und fallweise auch mein Leben wider.
The postings on this site are my own and do not represent the positions, strategies or opinions of any former, current or future employer of mine.

Me, Elsewhere

Tag Cloud

2007, 2blog, 2do, 2read, a-trust, a.trust, a1, accessability, acta, advent, age, ai, amazon, ankündigung, apache, apple, audio, austria, backup, barcamp, basteln, bba, big brother awards, birthday, blog, blogging, book, books, browser, Browser_-_Firefox, bruce sterling, buch, bürgerkarte, cars, cartoon, ccc, cfp, christmas, cloud, coding, collection, command line, commandline, computer, computing, concert, conference, copyright, covid19, css, database, date, datenschutz, debian, delicious, demokratie, design, desktop, deutsch, deutschland, dev, developer, development, devops, digitalks, dilbert, disobay, dna, dns, Doctor Who, documentation, Domino, domino, Douglas Adams, download, downloads, drm, dsk, dvd, e-card, e-government, e-mail, e-voting, E71, education, Ein_Tag_im_Leben, elga, email, encryption, essen, EU, eu, event, events, exchange, Extensions, fail, fedora, feedback, film, firefox, flash, flightexpress, food, foto, fsfe, fun, future, games, gaming, geek, geld, git, gleichberechtigung, google, graz, grüne, grüninnen, hack, hacker, handtuch, handy, hardware, HHGTTG, history, how-to, howto, hp, html, humor, IBM, ibm, ical, iCalendar, image, innovation, intel, internet, internet explorer, iot, iphone, ipod, isp, it, IT, itfails, itfailsAT, itfailsDE, java, javascript, job, jobmarket, journalismus, keyboard, knowledge, konzert, language, laptop, law, lego, lenovo, life, links, Linux, linux, linuxwochen, linuxwochenende, live, living, lol, london, lost+found, lotus, Lotus, Lotus Notes, lotus notes, lotusnotes, LotusNotes, Lotusphere, lotusphere, Lotusphere2006, lotusphere2007, Lotusphere2008, lotusphere2008, lustig, m3_bei_der_Arbeit, mac, mail, marketing, mathematik, media, medien, metalab, Microsoft, microsoft, mITtendrin, mobile, mood, motivation, movie, mp3, multimedia, music, musik, männer, nasa, nerd, netwatcher, network, netzpolitik, news, nokia, Notes, notes, Notes+Domino, office, online, OOXML, open source, openoffice, opensource, orf, orlando, os, outlook, patents, pc, pdf, performance, perl, personal, php, picture, pictures, podcast, politics, politik, pr, press, presse, privacy, privatsphäre, productivity, programming, protest, public speaking, qtalk, quintessenz, quote, quotes, radio, rant, recherche, recht, release, review, rezension, rip, rss, science, search, security, server, settings, sf, shaarli, Show-n-tell thursday, sicherheit, silverlight, smtp, SnTT, social media, software, sony, sound, space, spam, sprache, spö, ssh, ssl, standards, storage, story, stupid, summerspecial, sun, surveillance, sysadmin, talk, talks, technology, The Hitchhikers Guide to the Galaxy, theme, think, thinkpad, thunderbird, tip, tipp, tools, topgear, torrent, towel, Towel Day, TowelDay, travel, truth, tv, twitter, ubuntu, ui, uk, unix, update, usa, usb, vds, video, videoüberwachung, vienna, Vim, vim, vintage, vista, vorratsdatenspeicherung, vortrag, wahl, wcm, web, web 2.0, web2.0, Web20, web20, webdesign, werbung, wien, wiener linien, wikileaks, windows, windows 7, wired, wishlist, wissen, Wissen_ist_Macht, wlan, work, workshops, wow, writing, wtf, wunschzettel, Wunschzettel, www, xbox, xml, xp, zensur, zukunft, zune, österreich, övp, übersetzung, überwachung

AFK Readinglist