Eu tive a mesma experiência e resolvi-a com o auxílio de outro tópico sobre este mesmo assunto.
Leia Como superar "dispositivo ou recurso ocupado"
A contribuição que me ajudou foi:
ps -ef | grep name-of-busy-dir
Me mostrou o processo e o PID (coluna dois).
sudo kill -15 pid
Depois disso, exclua sua pasta sem escrúpulos.