Você deve estar bem, se estiver se conectando estritamente via RDP. A única coisa que você pode obter é se algo estranho foi configurado para ser executado quando a conexão é estabelecida. Por exemplo, se você estiver usando o cliente interno do Windows RDP, poderá definir um programa para ser executado quando a conexão for estabelecida. Na chance que você tem algo prejudicial para o servidor configurado lá, então algo ruim poderia acontecer, suponho. Isso é um pouco distante, no entanto, eu acho.
Você também pode obter algo interessante se definir a área de transferência para compartilhar com os recursos locais. E com certeza não traga unidades locais para a festa (seguindo a resposta de Stephen Thompson no compartilhamento de arquivos).