Todo o processamento (incluindo o da placa gráfica) é feito no computador host. O poder do computador cliente não importa, desde que tenha força suficiente para executar um programa RDP.
Dito isto, o RDP retira gráficos para permitir uma resposta rápida através da rede.
Dependendo do tipo de software que você deseja executar remotamente, pode ser útil ter algum poder de gpu ou não.