Eu não acho que isso seja possível.
(Eu meio que estou desejando que esta resposta possa ser rejeitada por estar errada, já que seria um recurso útil, especialmente quando a máquina remota não tem palavra ou excel) mas eu tenho usado RD por anos (talvez décadas?) e nunca vi ou encabeçar nada como isso).
Existe uma opção para permitir que você compartilhe suas unidades locais e, portanto, você pode acessá-las quando estiver dentro da sessão da área de trabalho remota, mas não o contrário.
Se o computador ao qual você está se conectando estiver em sua rede local do Windows e você tiver as permissões apropriadas, poderá ser possível acessá-lo usando compartilhamentos padrão do Windows.
Caso contrário, acho que é necessário copiar o arquivo para o disco rígido local e, em seguida, voltar para a área de trabalho e abrir a cópia local. Como esta é uma cópia, você precisa copiá-la de volta para o computador remoto se fizer alterações e também certificar-se de que ninguém alterou o arquivo entre os tempos.