Come posso scaricare un intero sito web?

75

Voglio scaricare un intero sito Web (con siti secondari). C'è qualche strumento per questo?

    
posta UAdapter 07.01.2011 - 15:19

8 risposte

120

Prova l'esempio 10 di qui :

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
  • –mirror : attiva le opzioni appropriate per il mirroring.

  • -p : scarica tutti i file necessari per visualizzare correttamente un dato Pagina HTML.

  • --convert-links : dopo il scarica, converti i collegamenti in documento per la visualizzazione locale.

  • -P ./LOCAL-DIR : salva tutti i file e le directory nel file specificato directory.
risposta data shellholic 07.01.2011 - 15:34
37

httrack è lo strumento che stai cercando.

  

HTTrack ti consente di scaricare un sito Web da Internet in una directory locale, creando ricorsivamente tutte le directory, ottenendo HTML, immagini e altri file dal server al computer. HTTrack organizza la struttura di collegamento relativa del sito originale.

    
risposta data Sid 07.01.2011 - 15:31
7

Con wget puoi scaricare un intero sito web, dovresti usare -r per un download ricorsivo . Ad esempio,

wget -r http://www.google.com
    
risposta data Arthur Knopper 07.01.2011 - 15:44
5

WEBHTTRACK WEBSITE COPIER è uno strumento utile per scaricare un intero sito Web sul tuo disco rigido per la navigazione offline. Avvia il centro di software ubuntu e digita "webhttrack website copier" senza le virgolette nella casella di ricerca. selezionalo e scaricalo dal centro del software sul tuo sistema. avvia il webHTTrack dal laucher o dal menu di avvio, da lì puoi iniziare a divertirti con questo fantastico strumento per i download del tuo sito

    
risposta data frizeR 22.10.2012 - 03:30
3

Non so su sottodomini, cioè siti secondari, ma wget può essere utilizzato per accedere a un sito completo. Dai un'occhiata alla questa domanda superuser . Dice che puoi utilizzare -D domain1.com,domain2.com per scaricare diversi domini in un singolo script. Penso che tu possa utilizzare questa opzione per scaricare sottodomini i.e -D site1.somesite.com,site2.somesite.com

    
risposta data binW 07.01.2011 - 15:31
1

Uso Burp - lo strumento spider è molto più intelligente di wget e può essere configurato per evitare sezioni se necessario. La Burp Suite stessa è un potente set di strumenti per aiutarti a testare, ma lo strumento spider è molto efficace.

    
risposta data Rory Alsop 07.01.2011 - 21:54
1

Puoi scaricare un intero sito web con questo comando:

wget -r -l 0 website

Esempio:

    wget -r -l 0 http://google.com

 -r
       --recursive
           Turn on recursive retrieving.    The default maximum depth is 5.

-l depth
       --level=depth
           Specify recursion maximum depth level depth.

Guarda questo tutorial per ulteriori

Fonti: man wget

    
risposta data Harish Kotikalapudi 18.06.2016 - 11:49
0

Se la velocità è un problema (e il benessere del server non lo è), puoi provare puf , che funziona come wget ma puoi scaricare più pagine in parallelo. Non è, tuttavia, un prodotto finito, non mantenuto e orribilmente privo di documenti. Tuttavia, per scaricare un sito Web con un sacco di file piccoli, questa potrebbe essere una buona opzione.

    
risposta data loevborg 07.01.2011 - 16:14

Leggi altre domande sui tag