O motivo pelo qual está tendo tanta RAM é que o serviço de área de trabalho remota do Windows tenta limitar os dados que precisam ser enviados pela rede. Ele usa o cache de bitmap para não ter que enviar cada pequena alteração na área de trabalho (somente os 'pixels em mudança' precisam ser enviados).
Agora, 30% - 50% da sua RAM parece alta demais, mesmo para isso. Quanta memória RAM o PC tem. Isso acontece imediatamente após a reinicialização do sistema. Em caso afirmativo, é melhor reinstalar este serviço para ver se isso resolveu o problema.
Se você não estiver usando a área de trabalho remota (e não estiver planejando usá-la tão cedo), sugiro desativar completamente esse serviço.
Vá para sua lista de serviços no Windows e desative os Serviços de Área de Trabalho Remota. Isso deve desativar o processo. Lembre-se de também parar o serviço, para que ele pare imediatamente (não apenas após a reinicialização do sistema).