Eu sugiro que você use um Raspberry Pi. Mas você precisará de algum conhecimento para instalar software nele. Existem tutoriais suficientes na internet sobre como instalar, por exemplo, o Windows 10 (ou 8).
Se você quiser um dispositivo relativamente barato, sugiro um Thin Client da HP. Eles vêm com o Windows pré-instalado e você pode usá-los diretamente. Eles custam muito mais do que um Raspberry Pi (Raspberry é em torno de 30 dólares e um Thin Client em torno de 300).
Editar: o vídeo e o áudio nunca são uma boa ideia sobre o RDP, é muito lento e você terá muitas perdas de qualidade. Parece que você quer algum tipo de mediastation? Por que não usar um computador antigo sem o RDP?