Come posso scaricare file (elencati in un file di testo) usando wget
o qualche altro modo automatico?
Elenco file di esempio:
www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
Come posso scaricare file (elencati in un file di testo) usando wget
o qualche altro modo automatico?
Elenco file di esempio:
www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
wget ha un flag incorporato per questo: wget -i your_list
Puoi trovare questo tipo di cose leggendo man wget
Ricevili in parallelo con
cat urlfile | parallel --gnu "wget {}"
Per impostazione predefinita eseguirà tutti i processi quanti ne hai, puoi probabilmente aumentare di altri 10x se vuoi davvero eliminarli rapidamente aggiungendo "-j 20" dopo il parallelo.
xargs -i wget 'http://{}' < your_list
parallel
ha un flag incorporato --arg-file
( -a
) che utilizzerà un file di input come origine, quindi puoi evitare cat |
. Puoi usare
parallel --gnu -a urlfile wget
O semplicemente parallel --gnu wget < urlfile
awk '{print "http://" $0;}' list.txt | xargs -l1 wget
dove list.txt è il file di elenco
Ho visto la risposta di Florian Diesch.
L'ho fatto funzionare includendo il parametro bqc
nel comando.
xargs -i wget -bqc 'http://{}' < download.txt
Tutti i download sono stati avviati in parallelo in background.
-b
: sfondo. Vai allo sfondo subito dopo l'avvio -q
: silenzioso. Disattiva l'output di wget -c
: continua. Continua a recuperare un file parzialmente scaricato Link file links.txt
Comando per scaricare tutti i file di collegamenti
cat links.txt | wget -i
Leggi altre domande sui tag wget