Fazendo backup de 200 TB de dados do compartilhamento de rede para vários HDDs externos de 8 TB (Linux)

Question

Estou trabalhando para uma empresa que coleta toneladas de dados de sensores de test drives. Atualmente, temos cerca de 200TB (1.638.400 Gbit) de dados que precisam de backup.

Estamos planejando configurar uma biblioteca de fitas no final do ano, mas, por enquanto, devemos copiar os dados em vários HDDs formatados com o ext4.

Um servidor com uma conexão de 10Gbit / s para os dados do sensor está disponível para o backup. Este servidor tem duas portas UBS 3.0. O servidor atualmente possui o debian instalado, mas poderíamos instalar qualquer linux para esta tarefa.

Nossos HDDs externos são da Western Digital MyBooks 3.0 com 8 TB de armazenamento e têm uma velocidade de gravação de 180MB / s (1.440Mbit / s).

Portanto, com duas portas USB 3.0, podemos teoricamente escrever 2,8 Gbit / s, o que leva a um tempo total de gravação de aproximadamente 162 horas (6,8 dias). Sendo este o caso ideal e não leva em conta o tempo para trocar as unidades, esperamos que leve pelo menos duas semanas com cinco dias de trabalho cada. Por favor, corrija-me se estiver errado.

Enquanto esta situação grita BIBLIOTECA DE FITA! Nós temos que seguir o caminho do UBS 3.0 por enquanto.

Eu adoraria ouvir suas sugestões sobre como resolver esse problema da maneira mais rápida e fácil.

Qualquer ajuda é muito apreciada! Obrigada!