Se você estiver usando puramente o armazenamento persistente na chave USB, não haverá efeitos adversos no sistema do Windows, ele estará completamente separado e você estará usando apenas recursos como a CPU e a memória da máquina, não o HDD com o sistema operacional Windows instalado.
No entanto se você montar o HDD que contém o Windows e fizer qualquer alteração no sistema de arquivos, isso poderá afetar os arquivos desse disco, incluindo os arquivos necessários para o Windows operar.
Se você não brinca com nada no disco rígido interno, tudo bem.