OK, isso se resumia a ser idiota.
A caixa CentOS foi configurada com um servidor de nomes que não existia quando a rede estava isolada.
Algum rastreio do wireshark das tentativas de conexão mostrou que ele estava realizando pesquisas de DNS (em seu próprio nome) no caso 'fast' e apenas esperando no caso 'lento'.
Remover o endereço do servidor DNS do sistema na rede isolada fez com que todo o problema desaparecesse.