Você precisa se conectar ao host em vez do convidado. Eu dividiria o problema em dois e sugeriria em primeiro lugar que você tentasse se conectar em seu host ao convidado com algo como
rdesktop localhost 3390
e veja se você consegue uma conexão.
Se isso funcionar, vá para a máquina do Windows e conecte-se com "Conexão de Área de Trabalho Remota" especificando o nome do host e a conexão separados por dois-pontos (:)
então algo como
myserver:3390
Se isso ainda não funcionar, que tipo de erros você está recebendo? A conexão é rejeitada ou o tempo limite é esgotado. Você pode ativar o registro em seu firewall ou desativar o firewall rapidamente para verificar se não é um problema de firewall.