Copiando arquivos NFS do Linux para um disco rígido externo padrão do consumidor

Question

Eu sou um estudante de pós-graduação e um relativamente novato em Linux. Minha instituição possui um cluster Linux interno no qual eu executo muitas simulações científicas. Eu tenho um computador desktop do Windows a partir do qual eu acesso o cluster do Linux via SSH.

Eu tenho uma grande quantidade (~ 1 TB) de dados de resultados de simulação no servidor de arquivos do cluster do Linux. Quando o projeto estiver concluído, o grupo de pesquisa provavelmente não terá espaço para salvar os resultados da simulação. No entanto, eu gostaria de salvar os arquivos (com a permissão do grupo, é claro) em uma unidade externa que eu mesmo comprarei.

A minha pergunta é, se eu comprar um disco rígido externo padrão do Windows com uma conexão USB, poderei copiar os arquivos do servidor de arquivos do cluster do Linux para a unidade externa? (Eu estou supondo que o cluster Linux tem uma porta USB, mas isso é algo que eu preciso verificar.)

Parece que muitos discos rígidos externos padrão do Windows são formatados em NTFS ou FAT32, enquanto o nosso servidor de arquivos Ubuntu Linux usa NFS. Aqui estão alguns exemplos da Amazon:

• Disco rígido externo de mesa Seagate Backup Plus 4 TB USB 3.0 STCA4000100 (NTFS)

• Armazenamento de disco rígido externo WD My Book 4TB Backup de arquivo USB 3.0 e Armazenamento (NTFS)

• Disco rígido portátil BUFFALO MiniStation Plus 1 TB USB 3.0 - HD-PNT1.0U3BS Prata (FAT32)

Você acha que algum ou todos os discos rígidos acima serão capazes de ser facilmente reformatados no NFS para uso com o cluster Linux?

Por outro lado, o Amazon tem uma seção para discos rígidos externos "suporte à plataforma Linux", como:

• LaCie Disco rígido Minimus de 3 TB USB 3.0 (302004) (sistema de ficheiros não especificado, tanto quanto eu posso dizer; talvez não esteja formatado?)

Mas, mesmo que os discos rígidos externos padrão do Windows sejam facilmente reformatados, o problema é que, posteriormente, posso querer copiar os arquivos do disco rígido externo para um computador com Windows, que é o NTFS. Esta parte da questão pode exigir uma pergunta separada ou uma pergunta no SuperUser, mas é possível copiar arquivos NFS de um disco rígido externo para um computador com Windows NTFS? Obrigado pelo seu tempo.

    

Answer 1

My question is, if I purchase a standard Windows external hard drive with a USB connection, will I be able to copy the files from the Linux cluster's files server to the external drive?

Sim, não há problema técnico para isso, no entanto:

O hardware não é um disco rígido "padrão windows com conexão USB". Por favor, descarte a parte do Windows dessa frase. E o HDD USB externo funciona igualmente bem com ou sem o Windows como SO.

I am assuming that the Linux cluster has a USB port, but this is something that I will need to verify.

Para uma grande quantidade de dados (e 1TB é muito), conectar a unidade localmente é provavelmente muito mais rápido. No entanto, com USB2 você ainda está limitado a 35-ish MB / seg. Isso significa que a cópia de 1 TB em USB2 leva de 8 a 9 horas. ^*

Você pode acelerar bastante se a unidade estiver montada localmente (via SATA simples), se o cluster e sua unidade tiverem eSATA, se ambos tiverem USB3 ou se ambos tiverem firewire.

Como alternativa, você pode conectar a unidade à sua própria área de trabalho e copiar os arquivos. Neste caso, a rede pode ser o limite de velocidade. Você também corre o risco de um administrador irritado perguntar por que você está tornando a rede tão lenta para outros usuários. : -)

It looks like many standard Windows external hard drives are formatted in either NTFS or FAT32, whereas our Ubuntu Linux file server uses NFS.

uhm, não.

O disco rígido não se importa com qual sistema de arquivos é usado. Ele pode vir pré-formatado com o NTFS (que é uma escolha sensata para a maioria das pessoas que os compram), mas nada impede que você altere o sistema de arquivos e a reformatação. Isso deve levar apenas alguns minutos.

Além disso, o servidor de arquivos não usa o NFS em seus discos rígidos. Provavelmente está usando ext2, ext4 ou ZFS. Nenhum dos quais você precisa se preocupar. Contanto que você possa ler os dados, pode escrevê-los em qualquer formato.

(Considere a analogia: Você copia o texto escrito em um caderno. Não se preocupe com a forma ou a cor do caderno original. Desde que você possa ler e ter um caderno grande o suficiente, você pode copiar o conteúdo de um caderno para outro).

^* : 8-9 horas estimadas com base nisso:

35 MiB / segundo
 100 MiB por 3 segundos.
1000 MiB por 30 segundos, o que é o mesmo que 1GiB por 30 segundos.

1GiB por 30 segundos
1000GiB por 30000 segundos
   1 TB por 30000 segundos. 30000/3600 = 8,3 (3600 segundos por hora)

    

Answer 2

A escreveu um elaborado post sobre como fazer exatamente isso.

link

Basicamente, você não pode salvar dados do Linux em FAT32 sem perder permissões e tê-lo estragado. O que você pode fazer é criar um dispositivo de loop Ext4 dentro dele e armazenar lá.

Crie um arquivo de 64 GB

cd /media/myUserName/HugeExternalDrive/my_favourite_folder/
dd if=/dev/zero of=./my.disk bs=33554432 count=2048

Montar e formatar

sudo losetup /dev/loop0 ./my.disk
sudo mkfs.ext4 /dev/loop0

Agora monte em um diretório adequado

mkdir /home/myUserName/mount_point
sudo mount /dev/loop0 /home/myUserName/mount_point
sudo chown -R myUserName:myUserName /home/myUserName/mount_point

Agora você está pronto para usar a imagem de disco criada

A postagem do blog vinculada descreve com mais detalhes como isso pode ser feito.