Eu não tenho tantos arquivos grandes quanto você está perguntando, mas eu tenho facilmente algumas centenas de milhares de arquivos que eu guardo. (Muitos são velhos e inúteis, mas eu sou um packrat ...)
Para backup pessoal, e número de esquemas usando discos rígidos externos e software como rsync ou uma das muitas ferramentas comerciais (eu uso Second Copy) podem ser criadas.
Eu acho que a chave é criar um esquema que funcione para o usuário de separar os arquivos ativos (aqueles que podem ser alterados, renomeados, etc.) de arquivos mais antigos e inativos (arquivos que você vai inserir um subdiretório e provavelmente nunca mudará novamente). No meu caso, eu acumulo arquivos todos os anos, salvando-os em subdiretórios apropriados (2011 \ personal, 2011 \ pictures, 2011 \ whatever), e em 1º de janeiro, inicio um novo diretório (2012)
No meu caso, todos os arquivos que eu já criei (desde o início dos anos 90) se encaixam facilmente com 1TB. Eu tenho várias cópias de todos esses arquivos em vários discos rígidos que eu mantenho em vários locais. Com o crescimento dos discos rígidos, se eu ficar sem espaço, provavelmente substituirei todas as unidades de 1TB por 2TB.
No seu caso, eu também configurei um tipo de estrutura de data e, uma vez que eu tivesse algo como 2 TB de dados estáticos mais antigos, eu faria algumas cópias desses dados em alguns discos rígidos e os colocaria de lado, disponíveis para referência, se necessário, mas não usado no dia-a-dia.