Wget Command Line Downloader Yang Ramah Bandwidth

Sekarang udah menjadi hal biasa melakukan pemeliharaan server melalui akses protocol SSH. Atau bisa disebut juga dengan meremote server. Selain melakukan pemeliharaan dan pengecekan log, kadang kita juga harus mendownload ini itu dari internet. Contohnya mungkin paket terbaru untuk aplikasi server, atau mungkin sebuah file konfigurasi, atau bahkan ISO suatu distribusi linux. Dan tidak terbatas juga dengan MP3, 3gp, jpg, dll..

Nah di dalam shell prompt ini(command line), Wget bisa menjadi penguasa untuk urusan men-donwload. Wget The Non-Interactive Network Downloader ini juga support untuk protocol FTP, HTTP bahkan HTTPS. Dan bisa melakukan autentikasi sebelum mendownload file, menjadikannya salah satu applikasi favorit aku 😀

Berbeda dengan applikasi downloader lain, wget ini sangat ramah bandwidth. Mungkin karena bukan salah satu tipe download accelerator kali yah? Sehingga tidak mengganggu akses internet sewaktu menggunakannya. Kalau pun ada, tidak terlalu signifikan dibanding downloader yang lain.

Berikut beberapa contoh untuk penggunaan Wget.

Download file dari internet

$ wget https://slackblog.org/folder/file-yang-di-download.tar.gz
$ wget ftp://slackblog.org/folder/kumpulan-musik-daerah.tar.gz

Untuk menggunakannya langsung aja. Wget berikut url file yang akan di download.

Download beberapa file dari internet

Sebenarnya ada banyak pilihan cara untuk mendownload beberapa file dari internet. Bisa dengan menggunakan Bash for loop, chain command, bla bla,..
Akan tetapi aku lebih prefer menggunakan option -i pada si wget ini. Menuliskan url yang mau di download ke sebuah file, dan membiarkan wget melakukan tugasnya.

$ vim download.txt

ketik atau pastekan url yang akan di download.

https://slackblog.org/folder/gambar.zip
ftp://kabau.org/avatar.jpg
ftp://tebet.org/iso/slackware/*

Nah tanda asterisk ‘*’ (Shift+8) hanya bisa di gunakan pada protocol FTP. Tujuannya untuk mendownload semua file yang ada di folder tersebut.
Save file download.txt

Jalankan wget seperti ini

$ wget -i download.txt

Yang namanya mendownload file besar atau banyak file dari internet, tentu tidak terlepas juga dari resiko putus koneksi atau mati listrik 😀
Untuk itu tidak ada salahnya kita menambahkan option -c setiap kali mendownload. Option ini adalah fitur resume.

$ wget -c -i download.txt

Jalankan wget di background
Hal ini bisa di lakukan dengan option -b. Yang nantinya kita bisa tail -f progress download ke file wget-log.

$ wget -c -i -b download.txt

dan

$ tail -f wget-log

untuk melihat progress download.
Setelah itu tekan ctrl+c untuk keluar dari tail -f tadi.

Untuk option yang lainnya silahkan cek $man wget

Oke mari kita ugal ugalan dengan si wget dengan mendownload seluruh isi sebuah website ke hardisk atau ke server.

$ wget --wait=5 --limit-rate=50K -r -p -U Chrome --no-parent -b http://namawebsitenya/filenya.html

Penjelasan contoh diatas kira2 seperti ini.
Wget, berhenti 5 detik setiap download, dan downloadlah dengan kecepatan 50kb, secara recursive semua halaman website itu (termasuk image atau suara atau flash) dan katakan kalau yang buka itu adalah browser Chrome dan jangan download file yang ada di atas folder yang di maksud, lakukan semua ini secara background.

ya kira2 seperti itu,..

Update (24/02/10):

• Beberapa Contoh Penggunaan Wget Command Line Downloader