Basicamente eu estou procurando para ver se existe uma ferramenta ou script que pode detectar arquivos movidos ou renomeados para que eu possa obter uma lista de arquivos renomeados / movidos e aplicar a mesma operação no outro lado da rede para economizar largura de banda.
Basicamente, o armazenamento em disco é barato, mas a largura de banda não é, e o problema é que os arquivos geralmente serão reorganizados ou movidos para uma melhor estrutura de diretório, assim quando você usa o rsync para fazer o backup, o rsync não percebe um arquivo renomeado ou movido e retransmiti-lo pela rede novamente, apesar de ter o mesmo arquivo do outro lado.
Então, eu estou querendo saber se existe um script ou ferramenta que possa gravar onde estão todos os arquivos e seus nomes, e logo antes de um backup, ele irá redigitalizar e detectar arquivos movidos ou renomeados, então eu posso pegar essa lista e reaplique a operação de mover / renomear no outro lado.
Veja uma lista dos recursos "gerais" dos arquivos:
- Arquivos imutáveis grandes
- Eles podem ser renomeados ou movidos
[Edit:] Todas essas são boas respostas, e o que acabo fazendo no final foi olhar todas as respostas e vou escrever algum código para lidar com isso. Basicamente, o que estou pensando / trabalhando agora é:
- Usando algo como o AIDE para a varredura "inicial" e permitindo que eu mantenha as somas de verificação nos arquivos porque elas nunca devem ser alteradas, para ajudar a detectar a corrupção.
- Criando um daemon inotify que monitore esses arquivos / diretório e registre as alterações relacionadas a renomear & movendo os arquivos para um arquivo de log.
- Existem alguns casos extremos em que o inotify pode falhar em registrar que algo aconteceu com o sistema de arquivos, portanto há uma etapa final de usar o find para pesquisar no sistema de arquivos arquivos com um tempo de alteração mais recente que o último backup .
Isso tem vários benefícios:
- Checksums / etc da AIDE para poder verificar / certificar-se de que algumas mídias não foram corrompidas
- O Inotify mantém o uso de recursos baixo e não é necessário varrer novamente o sistema de arquivos várias vezes
- Não há necessidade de corrigir o rsync; Se eu tiver que consertar as coisas que eu posso, mas eu preferiria evitar remendar as coisas para manter o fardo mais baixo, (IE não precisa re-patch toda vez que houver uma atualização).
- Eu usei o Unison antes e é realmente legal, no entanto, eu poderia jurar que o Unison mantém cópias no sistema de arquivos e que seus arquivos "archive" podem se tornar bastante grandes?