O aplicativo está em %windir%\system32\mstsc.exe
.
Você pode simplesmente removê-lo. No entanto, isso não impediria que alguém o copiasse ou executasse uma ferramenta RDP de terceiros. A menos que você bloqueie a máquina de tais atividades. Se você está tentando impedir que as pessoas usem o RDP, é melhor desativar a porta que ele usa, a porta TCP 3389.