Primeiro de tudo: reconsidere seu fluxo de trabalho. Por que não apenas renomear o diretório para obtê-lo fora do caminho, executar sua compilação em um novo dir e, em seguida, exclua o antigo em horas de baixa utilização. Mesmo 3 minutos parece muito longo para desperdiçar, se você puder ir com 0.1s.
Agora, sobre os tempos de exclusão: eu suspeito que, por algum motivo, algo nesse diretório ainda está em uso pelo sistema operacional - talvez o clássico (indexador de pesquisa)? Isso poderia facilmente ter sido mascarado pelo fato de que os tempos de criação eram muito maiores no disco rotativo. Você pode verificar isso tentando apagar o material depois de algumas horas e só então verificando quanto tempo demora.
EDITAR
Se o material tiver apenas 2 GB de tamanho, um disco RAM seria a escolha óbvia.