Eu usaria o ssh para controlar remotamente o seu servidor em vez do desktop remoto. Instale o ssh no seu servidor para abrir um terminal no seu servidor.
sudo apt-get install openssh-server
no seu cliente Ubuntu, abra um terminal e digite.
ssh -X 'username'@serverip
O -X encaminha a solicitação x11, então se você quiser abrir o gerenciador de arquivos, basta digitar thunar e ele encaminhará a solicitação -X 11 para o seu computador e, em seguida, você poderá ver o arquivo e as forragens no servidor.