Come posso scaricare file (elencati in un file di testo) usando wget o qualche altro modo automatico?
Elenco file di esempio:
www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
Come posso scaricare file (elencati in un file di testo) usando wget o qualche altro modo automatico?
Elenco file di esempio:
www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
wget ha un flag incorporato per questo: wget -i your_list
Puoi trovare questo tipo di cose leggendo man wget
Ricevili in parallelo con
cat urlfile | parallel --gnu "wget {}"
Per impostazione predefinita eseguirà tutti i processi quanti ne hai, puoi probabilmente aumentare di altri 10x se vuoi davvero eliminarli rapidamente aggiungendo "-j 20" dopo il parallelo.
xargs -i wget 'http://{}' < your_list
parallel ha un flag incorporato --arg-file ( -a ) che utilizzerà un file di input come origine, quindi puoi evitare cat | . Puoi usare
parallel --gnu -a urlfile wget
O semplicemente parallel --gnu wget < urlfile
awk '{print "http://" $0;}' list.txt | xargs -l1 wget
dove list.txt è il file di elenco
Ho visto la risposta di Florian Diesch.
L'ho fatto funzionare includendo il parametro bqc nel comando.
xargs -i wget -bqc 'http://{}' < download.txt
Tutti i download sono stati avviati in parallelo in background.
-b : sfondo. Vai allo sfondo subito dopo l'avvio -q : silenzioso. Disattiva l'output di wget -c : continua. Continua a recuperare un file parzialmente scaricato Link file links.txt
Comando per scaricare tutti i file di collegamenti
cat links.txt | wget -i
Leggi altre domande sui tag wget