Você está usando algum antivisrus / antimalware / antispyware / firewall no seu PC x64?
Mesmo que você não tenha uma solução de segurança de terceiros instalada, tenha em mente que há o Microsoft Defender, o Microsoft Antimalware e o Microsoft Security Essentials. O último deles verifica todos os arquivos com os quais você interage, eu tive muitos problemas com isso: o explorer e a tartaruga travam e atrasam (durante a cópia , colar, confirmar, atualizar operações).
Portanto, minha sugestão é tentar desativar todas as soluções de segurança (instaladas e integradas) e tentar repetir as operações de remoção do .exe.