A solução é apropriar-se do diretório "System Volume Information":
Supondo que a unidade externa é chamada G, inicie o cmd.exe usando "Executar como administrador" e digite:
G:
cd \
takeown /r /f "System Volume Information"
Responda "y" para sim quando for perguntado se deseja substituir todas as permissões.
Isso substituirá o proprietário existente SYSTEM por você mesmo, para que você possa excluir o diretório.
EDITAR
No Windows 7 e amp; Vista você precisa verificar se você é o verdadeiro administrador: Exibindo o Administrador "real" conta