Download menggunakan perintah wget

Pada catatan kali ini saya akan menunjukkan kepada teman-teman cara menggunakan perintah wget untuk unduh file. 

Wget merupakan sebuat perintah yang dapat kita gunakan untuk mengnduh file dari sebuah situs website. Perintah Wget dapat digunakan untuk mengunduh file menggunakan protokol HTTP, HTTPS, dan FTP. Wget juga menyediakan sejumlah opsi yang memungkinkan kita untuk mengunduh banyak file, melanjutkan unduhan, membatasi bandwidth, unduhan rekursif, unduhan di latar belakang, mirror situs web dan banyak lagi. Berikut ini step by step penggunaan wget.

Cara Install Wget
Wiget berjalan pada platform GNU Linux berbasis text atau kita bisa menggunakan pada terminal. Wget tidak perlu diinstal karena merupakan Paket yang secara default di sebagian besar distribusi Linux.

Sintaks Dasar Wget

Sebelum membahas cara menggunakan perintah wget,berikut ini sintaks dasarnya. Perintah dasar dari utilitas wget mengambil bentuk dasar sebagai berikut:

wget [options] [url]

options – merupakan menu dasar dari Wget

url – URL file atau direktori yang ingin Anda unduh atau sinkronkan.

Bagaimana cara download file menggunakan Wget?

Dalam bentuk yang paling sederhana ketika digunakan tanpa opsi apa pun, wget akan mengunduh sumber daya yang ditentukan dalam [url] ke direktori saat ini.

Dalam contoh berikut ini, kami mengunduh pdf:

wget http://kuliahkomputer.com/file.pdf

Seperti yang dapat Anda lihat dari gambar di atas, wget mulai dengan resolving domain dan alamat IP domain, kemudian terhubung ke server jarak jauh dan mulai transfer.

Selama pengunduhan, wget memperlihatkan bilah progres bersama dengan nama file, ukuran file, kecepatan download dan perkiraan waktu untuk menyelesaikan download. Setelah download selesai, Anda dapat menemukan file yang diunduh di direktori kerja Anda saat ini.

Untuk mematikan output wget gunakan flag -q, dengan begitu unduhan tetap berjalan namun tidak menampilkan progres seperti biasa.

Jika file sudah ada, maka wget secara otomatis menambahkan angka dengan format .N (number) pada akhir nama file.

Menggunakan Wget Untuk Menyimpan Hasil Download dengan Nama Berbeda

Untuk menyimpan file yang diunduh dengan nama yang berbeda, berikan opsi -O diikuti oleh nama yang dipilih:

wget -O file_baru.pdf http://kuliahkomputer.com/file.pdf

Perintah di atas akan menyimpan file zip dari file sebagai file_baru.pdf, dan bukan nama asli yang seharusnya file.pdf.

Menggunakan Wget untuk Download dan Simpan di Direktori

Secara default, wget akan menyimpan hasil download di direktori yang aktif di terminal. Untuk menyimpan hasil download ke lokasi spesifik, gunakan opsi -P dan di ikuti dengan lokasi yang di inginkan, misal:

wget -P /tmp http://kuliahkomputer.com/file.pdf

Dengan perintah di atas, kita memberi perintah kepada wget untuk menyimpanfile.pdf ke direktori /tmp

Cara Limit Kecepatan Download dengan Wget

Untuk membatasi kecepatan unduh, gunakan opsi --limit-rate. Nilai dapat dinyatakan dalam byte, kilobyte dengan sufiks k dan megabyte dengan sufiks m.

Perintah berikut akan mengunduh binari Go dan membatasi kecepatan unduh hingga 1mb:

wget --limit-rate=2m http://kuliahkomputer.com/file.pdf

Opsi ini sangat berguna ketika Anda tidak ingin menghabiskan semua bandwidth yang tersedia.

Cara Melanjutkan Download dengan Wget

Anda dapat melanjutkan unduhan menggunakan opsi -c. Ini berguna jika koneksi Anda menurun saat download file besar dan daripada download dari awal, Anda dapat melanjutkan yang sebelumnya.

Dalam contoh berikut ini kami melanjutkan pengunduhan file pdf:

wget -c http://kuliahkomputer.com/file.pdf

Jika server jarak jauh tidak mendukung fitur melanjutkan unduhan (resuming download), Wget akan memulai unduhan dari awal dan menimpa file yang ada.

Cara Download di latar belakang menggunakan Wget

Untuk mengunduh di latar belakang gunakan opsi -b (suffik b untuk background). Opsi ini cukup berguna saat Anda mengunduh file besar. Dalam contoh berikut ini, kami mengunduh file pdf di latar belakang:

wget -b http://kuliahkomputer.com/file.pdf

Secara default, output diarahkan ke file wget-log di direktori saat ini. Untuk menonton status unduhan, gunakan perintah tail:

tail -f wget-log

Cara Mengganti User-Agent Wget

Terkadang saat download file, remote server kadang kala memblokir proses download dari User-Agent Wget. Dalam situasi seperti ini, kita dapat memberi perintah kepada wget untuk meniru browser yang berbeda, maka kita gunakan opsi -U.

wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0" http://kuliahkomputer.com/

Perintah di atas akan meniru web browser Firefox 60 yang meminta halaman http://kuliahkomputer.com/

Cara Download banyak File Menggunakan Wget

Jika ingin mengunduh banyak file sekaligus, gunakan opsi -idiikuti dengan path ke file lokal atau eksternal yang berisi daftar URL yang akan diunduh. Setiap URL harus berada pada baris terpisah.

Dalam contoh berikut ini, kami men-download beberapa file iso dari Arch Linux, Debian, dan Fedora dengan URL yang ditentukan dalam file distro-linux.txt:

wget -i distro-linux.txt

isi dari file distro-linux.txt sebagai berikut :

http://kuliahkomputer.com/file.pdf
http://kuliahkomputer.com/file.doc
http://kuliahkomputer.com/file.xls

Jika Anda menentukan - sebagai nama file, URL akan dibaca dari input standar.

Menggunakan Perintah Wget Untuk Download via FTP

Untuk download file dari server FTP yang dilindungi kata sandi, Anda perlu menentukan nama pengguna dan kata sandi seperti yang ditunjukkan di bawah ini:

wget --ftp-user=NAMA_USER --ftp-password=PASSWORD_FTP ftp://ftp.kuliahkomputer.com/file.pdf

Silahkan Anda ganti NAMA_USER dan PASSWORD_FTP dengan kredensial akun FTP Anda.

Menggunakan Perintah Wget Command Untuk Mirroring Website

Untuk membuat mirror situs web dengan Wget, gunakan opsi -m. Perintah ini akan membuat salinan lokal lengkap dari situs web dengan mengikuti dan mengunduh semua tautan internal serta sumber daya situs web (JavaScript, CSS, Gambar).

wget -m http://kuliahkomputer.com/

Jika Anda ingin menggunakan situs web yang diunduh untuk penelusuran lokal, Anda harus memberikan beberapa argumen tambahan ke perintah di atas

wget -m -k -p http://kuliahkomputer.com/

Flag -kmemberi perintah pada wget untuk mengonversi tautan dalam dokumen yang diunduh agar sesuai untuk link lokal dan flag  -p akan memberi tahu wget untuk mengunduh semua file yang diperlukan untuk menampilkan halaman HTML.

Cara Agar Wget Melewati Pemeriksaan Sertifikat

Jika Anda ingin mengunduh file melalui HTTPS dari host yang memiliki sertifikat SSL tidak valid, gunakan flag --no-check-certificate:

wget --no-check-certificate http://kuliahkomputer.com/file.pdf

Cara Mengunduh ke Output Standar dengan Wget

Pada contoh berikut, Wget akan “quietly” (flag-q) atau diam-diam mengunduh dan mengeluarkan versi terbaru ke stdout (flag -O -) dan menyalurkannya ke utilitas tar yang akan mengekstrak arsip ke direktori /tmp.

wget -q -O - "http://kuliahkomputer.com/file.pdf" | tar -xzf - -C /tmp

Cara mengunduh file tanpa putus-putus

wget -continue -t 0 --timeout=30 --waitretry=30 http://kuliahkomputer.com/file.pdf

sumber: https://www.linuxid.net/24756/tutorial-menggunakan-command-wget-di-terminal/