Esse problema parece ser algo proveniente do roteador, não do próprio servidor, a menos que haja uma configuração estranha no lado do servidor. Sem saber que tipo de equipamento de rede está entre as duas caixas, é difícil adivinhar qual poderá ser o seu problema.
Como uma tentativa inicial, você converteu da reserva DHCP Persistente (baseada no MAC) para uma configuração IP estática? Você pode colocar o mesmo endereço IP, ou seja, x.x.x.52 em sua máquina de compilação como seu endereço estático e ver se isso ajuda com o problema de tempo limite.