Você precisa fazer o login no servidor como administrador para a sessão local e instalar as mesmas impressoras que você usa na sua máquina normal. Se isso for feito da próxima vez que você conectar, a impressora será conectada automaticamente. (deve ser o mesmo driver, incluindo 32 ou 64 bits.
Como alternativa, como a impressora provavelmente está na mesma rede que o servidor, você pode instalar a impressora diretamente como uma impressora normal e compartilhá-la com todos os usuários. Dessa forma, o usuário do RDP conectado pode acessá-lo diretamente. (que é provavelmente o método mais fácil porque é menos propenso a erros).