Você provavelmente está vendo o tempo limite de xauth que ForwardX11Trusted no define. Você pode alterar a duração do tempo limite com ForwardX11Timeout , mas infelizmente você não pode definir isso por muito tempo - ele irá travar o servidor X (ou talvez apenas erros em novos Xorgs). Veja a pergunta Desativar ForwardX11Timeout sem o ForwardX11Trusted no OpenSSH Client?
Você pode definir ForwardX11Trusted yes ou usar ssh -Y para desativar totalmente o tempo limite.