Mesclar 2 árvores de diretório no Linux sem copiar?

Question

Eu tenho duas árvores de diretório com layouts semelhantes, por exemplo

.
 |-- dir1
 |   |-- a
 |   |   |-- file1.txt
 |   |   '-- file2.txt
 |   |-- b
 |   |   '-- file3.txt
 |   '-- c
 |       '-- file4.txt
 '-- dir2
     |-- a
     |   |-- file5.txt
     |   '-- file6.txt
     |-- b
     |   |-- file7.txt
     |   '-- file8.txt
     '-- c
         |-- file10.txt
         '-- file9.txt

Eu gostaria de mesclar as árvores de diretórios dir1 e dir2 para criar:

 merged/
 |-- a
 |   |-- file1.txt
 |   |-- file2.txt
 |   |-- file5.txt
 |   '-- file6.txt
 |-- b
 |   |-- file3.txt
 |   |-- file7.txt
 |   '-- file8.txt
 '-- c
     |-- file10.txt
     |-- file4.txt
     '-- file9.txt

Eu sei que posso fazer isso usando o comando "cp", mas quero mover os arquivos em vez de copiá-los, porque os diretórios reais que eu quero mesclar são realmente grandes e contêm muitos arquivos (milhões). Se eu usar "mv", recebo o erro "Arquivo existe" devido a nomes de diretório conflitantes.

UPDATE: você pode assumir que não há arquivos duplicados entre as duas árvores de diretórios.

    

Answer 1

rsync -ax --link-dest=dir1/ dir1/ merged/
rsync -ax --link-dest=dir2/ dir2/ merged/

Isso criaria hardlinks em vez de movê-los, você pode verificar se eles foram movidos corretamente e, em seguida, remover dir1/ e dir2/ .

    

Answer 2

É estranho ninguém notar que cp tem a opção -l :

-l, --link
       hard link files instead of copying

Você pode fazer algo parecido com

% mkdir merge
% cp -rl dir1/* dir2/* merge
% rm -r dir*
% tree merge 
merge
├── a
│   ├── file1.txt
│   ├── file2.txt
│   ├── file5.txt
│   └── file6.txt
├── b
│   ├── file3.txt
│   ├── file7.txt
│   └── file8.txt
└── c
    ├── file10.txt
    ├── file4.txt
    └── file9.txt

13 directories, 0 files

    

Answer 3

Você pode usar renomear (também conhecido como prename, do pacote perl) para isso. Cuidado que o nome não se refere necessariamente ao comando que descrevo fora do debian / ubuntu (embora seja um único arquivo perl portátil se você precisar dele).

mv -T dir1 merged
rename 's:^dir2/:merged/:' dir2/* dir2/*/*
find dir2 -maxdepth 1 -type d -empty -delete

Você também tem a opção de usar vidir (de moreutils) e editar os caminhos de arquivo de seu editor de texto preferido.

    

Answer 4

Eu gosto das soluções rsync e prename , mas se você realmente quer fazer mv fazer o trabalho e

• seu encontrar conhece -print0 e -depth ,
• o seu xargs conhece -0 ,
• você tem printf ,

então é possível manipular um grande número de arquivos que podem ter espaços em branco aleatórios em seus nomes, todos com um shell script estilo Bourne:

#!/bin/sh

die() {
    printf '%s: %s\n' "${0##*/}" "$*"
    exit 127
}
maybe=''
maybe() {
    if test -z "$maybe"; then
        "$@"
    else
        printf '%s\n' "$*"
    fi
}

case "$1" in
    -h|--help)
        printf "usage: %s [-n] merge-dir src-dir [src-dir [...]]\n" "${0##*/}"
        printf "\n    Merge the <src-dir> trees into <merge-dir>.\n"
        exit 127
    ;;
    -n|--dry-run)
        maybe=NotRightNow,Thanks.; shift
    ;;
esac

test "$#" -lt 2 && die 'not enough arguments'

mergeDir="$1"; shift

if ! test -e "$mergeDir"; then
    maybe mv "$1" "$mergeDir"
    shift
else
    if ! test -d "$mergeDir"; then
        die "not a directory: $mergeDir"
    fi
fi

xtrace=''
case "$-" in *x*) xtrace=yes; esac
for srcDir; do
    (cd "$srcDir" && find . -print0) |
    xargs -0 sh -c '

        maybe() {
            if test -z "$maybe"; then
                "$@"
            else
                printf "%s\n" "$*"
            fi
        }
        xtrace="$1"; shift
        maybe="$1"; shift
        mergeDir="$1"; shift
        srcDir="$1"; shift
        test -n "$xtrace" && set -x

        for entry; do
            if test -d "$srcDir/$entry"; then
                maybe false >/dev/null && continue
                test -d "$mergeDir/$entry" || mkdir -p "$mergeDir/$entry"
                continue
            else
                maybe mv "$srcDir/$entry" "$mergeDir/$entry"
            fi
        done

    ' - "$xtrace" "$maybe" "$mergeDir" "$srcDir"
    maybe false >/dev/null ||
    find "$srcDir" -depth -type d -print0 | xargs -0 rmdir
done

    

Answer 5

Força bruta bash

#! /bin/bash

for f in $(find dir2 -type f)
do
  old=$(dirname $f)
  new=dir1${old##dir2}
  [ -e $new ] || mkdir $new
  mv $f $new
done

teste faz isso

# setup 
for d in dir1/{a,b,c} dir2/{a,b,c,d} ; do mkdir -p $d ;done
touch dir1/a/file{1,2} dir1/b/file{3,4} dir2/a/file{5,6} dir2/b/file{7,8} dir2/c/file{9,10} dir2/d/file11

# do it and look
$ find dir{1,2} -type f
dir1/a/file1
dir1/a/file2
dir1/a/file5
dir1/a/file6
dir1/b/file3
dir1/b/file7
dir1/b/file8
dir1/c/file4
dir1/c/file9
dir1/c/file10
dir1/d/file11

    

Answer 6

Eu tive que fazer isso várias vezes para árvores de código-fonte em diferentes estágios de desenvolvimento. Minha solução foi usar o Git da seguinte maneira:

1. Crie um repositório git e adicione todos os arquivos do dir1.
2. Commit
3. Remova todos os arquivos e copie os arquivos do dir2
4. Commit
5. Veja as diferenças entre os dois pontos de confirmação e tome decisões cuidadosas sobre como eu quero mesclar os resultados.

Você pode refiná-lo com ramificações e assim por diante, mas esta é a idéia geral. E você tem menos medo de encher isso porque você tem um instantâneo completo de cada estado.