Eu nunca vi robocopy falhar assim, mas se está falhando por causa do tamanho / pré-indexação, então por que não escrever seu próprio script para fazer a cópia? Gostaria de escrever a coisa em PERL e apenas fazer a cópia em uma base por arquivo e recursivamente passar por isso. Você pode adicionar verificações para ver se o arquivo já existe com o mesmo registro de data e hora, etc.
Você também pode conferir RichCopy que é de vários segmentos.