In che modo rsync decide esattamente cosa sincronizzare?

12

Sto trovando più risposte alla domanda, quindi volevo chiedere alle persone che effettivamente lo usano, piuttosto che voler semplicemente creare il blog più grande riempiendo di informazioni semi-inutili casuali.

Scenario: I %codice% e fa la sua cosa.

Aggiungo nuovi file in / dir / a ed eseguo di nuovo lo stesso comando, sa cosa ha fatto e copia solo i nuovi file.

Aggiungo nuovi file in / dir / a e rinominiamo alcuni file in / dir / b, e forse ne elimino anche alcuni.

Se eseguo nuovamente rsync -av --progress /dir/a /dir/b , cosa verrà copiato? Solo i nuovi file perché sa cosa ha copiato in precedenza, o anche i file che sono stati rinominati / cancellati, perché non sono più presenti.

E come bonus, se i file precedentemente copiati sono copiati di nuovo, c'è un modo per impedirlo, in modo che vengano copiate solo le nuove aggiunte a / dir / a?

Al momento sono felice di controllare le cose manualmente, ma man mano che i dati aumentano, avrò bisogno di più automazione per svolgere questa attività.

    
posta SPooKYiNeSS 29.10.2017 - 14:59
fonte

3 risposte

16
  

Aggiungo nuovi file in / dir / a ed eseguo di nuovo lo stesso comando, sa cosa ha fatto e copia solo i nuovi file.

No, non sa cosa ha fatto in una corsa precedente. Confronta i dati sul lato ricevente con i dati da inviare. Con dati abbastanza piccoli, questo non sarà evidente, ma quando si hanno directory abbastanza grandi, il tempo trascorso confrontando prima che la copia inizi effettivamente si avverte facilmente.

Il controllo predefinito è per i tempi e le dimensioni della modifica del file. Da man rsync :

-c, --checksum
      This changes the way rsync checks if the files have been changed
      and  are in need of a transfer.  Without this option, rsync uses
      a "quick check" that (by default) checks if each file’s size and
      time of last modification match between the sender and receiver.
      This option changes this to compare a 128-bit checksum for  each
      file  that  has a matching size.  Generating the checksums means
      that both sides will expend a lot of disk I/O  reading  all  the
      data  in  the  files  in  the transfer (and this is prior to any
      reading that will be done to transfer changed  files),  so  this
      can slow things down significantly.

E

-u, --update
      This  forces  rsync  to  skip  any  files  which  exist  on  the
      destination  and  have  a  modified  time that is newer than the
      source  file.   (If  an  existing   destination   file   has   a
      modification time equal to the source file’s, it will be updated
      if the sizes are different.)

Nota che queste non sono implicite nelle opzioni che hai usato. -a è:

-a, --archive               archive mode; same as -rlptgoD (no -H)
-r, --recursive             recurse into directories
-l, --links                 copy symlinks as symlinks
-p, --perms                 preserve permissions
-o, --owner                 preserve owner (super-user only)
-g, --group                 preserve group
    --devices               preserve device files (super-user only)
    --specials              preserve special files
-D                          same as --devices --specials
-t, --times                 preserve times
    
risposta data muru 29.10.2017 - 15:40
fonte
4

Generale

Se ho capito bene, rsync -av non ha memoria, quindi copierà anche i file che sono stati rinominati / cancellati, perché sono presenti nell'origine ma non sono più presenti nella destinazione.

Consigli

  • Utilizza l'opzione -n , 'dry run', per verificare cosa succede prima di eseguire la tua riga di comando rsync .

  • Notare il significato speciale di una barra finale dopo la directory di origine e vedere la differenza tra

    rsync -av --progress dir/a/ dir/b
    

    e

    rsync -av --progress dir/a dir/b
    

    che è descritto nel manuale man rsync .

Esempio

Il tuo caso speciale (aggiungendo un file alla directory di origine 'a' e rimuovendo un file dalla directory di destinazione 'b') si aggiungeranno sia il file aggiunto sia il file precedentemente copiato, perché è ancora nella directory di origine. Ciò avverrà sia con che senza l'opzione -u e non conosco alcuna opzione in rsync per correggerla facilmente, se vuoi mantenerla nella directory dei sorgenti.

Ma puoi rimuoverlo dalla directory di origine o inserire il nome del file nel file excluded e utilizzare l'opzione --exclude-from=excluded (per molti file) o semplicemente --exclude=PATTERN per uno o alcuni file.

$ rsync -avn --progress dir/a/ dir/b
sending incremental file list
./
file-1
file-2

sent 103 bytes  received 25 bytes  256.00 bytes/sec
total size is 13  speedup is 0.10 (DRY RUN)

$ rsync -av --progress dir/a/ dir/b
sending incremental file list
./
file-1
              6 100%    0.00kB/s    0:00:00 (xfr#1, to-chk=1/3)
file-2
              7 100%    6.84kB/s    0:00:00 (xfr#2, to-chk=0/3)

sent 196 bytes  received 57 bytes  506.00 bytes/sec
total size is 13  speedup is 0.05

$ echo textx-3>./dir/a/file-3

$ rsync -avn --progress dir/a/ dir/b
sending incremental file list
./
file-3

sent 121 bytes  received 22 bytes  286.00 bytes/sec
total size is 21  speedup is 0.15 (DRY RUN)

$ rm dir/b/file-1 
rm: ta bort normal fil 'dir/b/file-1'? y

$ rsync -avn --progress dir/a/ dir/b
sending incremental file list
./
file-1
file-3

sent 124 bytes  received 25 bytes  298.00 bytes/sec
total size is 21  speedup is 0.14 (DRY RUN)

$ rsync -avun --progress dir/a/ dir/b
sending incremental file list
./
file-1
file-3

sent 124 bytes  received 25 bytes  298.00 bytes/sec
total size is 21  speedup is 0.14 (DRY RUN)

$ rsync -avun --exclude=file-1 --progress dir/a/ dir/b
sending incremental file list
./
file-3

sent 104 bytes  received 22 bytes  252.00 bytes/sec
total size is 15  speedup is 0.12 (DRY RUN)

Alternativa: unison

Potresti provare lo strumento unison , che è uno strumento che sincronizza . Fornisce un metodo visivo per identificare casi speciali e decidere cosa fare. Esiste una versione della GUI ( unison-gtk ).

    
risposta data sudodus 29.10.2017 - 15:57
fonte
1

Copia solo i nuovi file in / dir / a. Qualsiasi cosa tu faccia in / dir / b verrà ignorata, a meno che tu non usi l'opzione --delete. In tal caso, i file rinominati in / dir / b verranno eliminati. Forza / dir / b a diventare esattamente come / dir / a.

Per quanto riguarda il bonus, intendi come nel caso di ridenominazione di file in / dir / a, e quindi rsyncing su / dir / b? Non penso che ci sia un modo per impedire a rsync di copiare nuovamente i file in quel caso.

    
risposta data Hermann Ingjaldsson 29.10.2017 - 15:24
fonte

Leggi altre domande sui tag