Quando ele trava, você pode reiniciar o X (ctrl + alt + backspace)? Se você puder fazer isso, isso, pelo menos, reduz o problema. Mas meu pensamento é ou você tem algo instalado que está causando isso. Tem feito isso desde que você instalou o Ubuntu, ou mais tarde, depois de alguma mudança? Se sim, então deve ser algo que você instalou ou então seu disco rígido está falhando. Isso é o que eu penso.