Supondo que seja Nautilus preso, eu começaria com isso. Abra um terminal e digite:
nautilus -q
E se isso não fechar a janela, tente este:
killall nautilus
O primeiro comando dá à nautilus a chance de fazer alguma limpeza antes de sair. O segundo terminará com o aplicativo mesmo que esteja preso no meio de algo que possa resultar em perda de dados. Depois que ele for fechado, você poderá reiniciar normalmente.