Você precisará editar o gerenciador de inicialização para remover a referência ao sistema operacional antigo. Você pode fazer isso usando o comando BCDEdit. Aqui estão algumas referências:
Blog sobre como modificar o Boot Loader
Guia de referência do Microsoft BCDEdit
Para se livrar dos arquivos, você pode tentar desativar o Modo de aprovação de administrador. Eu escrevi uma entrada no blog sobre como controlar o UAC aqui . A principal coisa que você precisa desativar é a configuração EnableLUA. Os arquivos do Windows são protegidos por permissões NTFS e você precisa ser capaz de agir como um administrador real para excluí-los.
Se o Windows ainda não permitir que você exclua os arquivos, você pode tentar carregar um live CD do linux para limpar os arquivos. Caso contrário, você precisará de uma ferramenta de terceiros para forçar a exclusão. Eu não tenho uma boa ferramenta para recomendar, mas deve haver algo lá fora.
Como último recurso, você sempre pode reformatar a unidade. É uma opção drástica, mas se livraria de tudo.