Sim, você pode. Tudo o que você precisa é fazer o backup de todos os arquivos que possa precisar e, em seguida, executar o seguinte:
rm -rf ~/*
Se você ainda tiver arquivos em sua pasta pessoal, poderá executar o Nautilus como root:
gksu nautilus
navegue até a sua pasta pessoal, mostre todos os arquivos ocultos ( ctrl + H ) e selecione e apague-os.
Depois disso, efetue logout e login novamente ou reinicie o computador.