Eu tenho experimentado sintomas semelhantes a isso antes. Não tenho certeza de por que você não pode se reconectar depois de 5 a 10 minutos. Vou adivinhar e dizer que é uma configuração de firewall entre você e a caixa do Ubuntu, permitindo apenas muitas conexões órfãs até que um limite de tempo específico expire. Eu vi isso no Cisco ASAs e no PF do OpenBSD.
Em qualquer caixa * nix eu admin, eu insiro o seguinte em / etc / ssh / ssh_config para manter minhas conexões ativas
ServerAliveInterval 180
FYI ... isso é digitado no cliente e não no servidor. Sua milhagem varia e você pode ter que aumentar ou diminuir esse valor. Espero que ajude.