O seu ISP pode ou não ser o problema, tanto quanto o ISP, ao qual outro servidor está conectado. E a questão não é a largura de banda aqui. Em vez disso, as interfaces são redefinidas devido à perda de conexão em qualquer parte da cadeia. Suas chances de 6 horas de conexão de rede ininterrupta são de uma em quatro, estatisticamente falando. Considerando que essas redes e conexões não são de nível profissional, é uma aposta de otários em termos de Las Vegas.
Dito isto, estou assumindo que ambos os lados, ou pelo menos o outro servidor na próxima cidade, são / é uma máquina Linux. Por que você simplesmente não executa o vncserver simples e se conecta a esta máquina usando o vncviewer? Mesmo se sua conexão for interrompida, a GUI na outra máquina continuará funcionando e quando você se reconectar, você obterá a mesma área de trabalho com a GUI ainda em execução nela. Claro, isso significa que, se você precisar inserir algo durante o processo, ele terá que esperar que você se reconecte antes de continuar.