Como @Krazy_Kaos estava dizendo, muito provavelmente um processo tem o diretório ou arquivo aberto. Eu uso o Process Explorer da Sysinternals para corrigir esse problema. Use o recurso de pesquisa do Process Explorer e procure o arquivo ou diretório que não está prestes a ser excluído, ele retornará o processo e o identificador que o está usando e use o Process Explorer para eliminar o identificador ou o processo.