Todos os arquivos criptografados são armazenados em /home/.ecryptfs. Simpy navegar até lá, abra a pasta como root e, em seguida, exclua a pasta que é seu nome de usuário antigo. Meu antigo nome de usuário era alex, então aqui está o que eu fiz:
sudo -i
cd /home/.ecryptfs
rm -rf alex
exit