Eu tive um problema parecido com isso, onde o congelamento aleatório ocorreria com meu mouse, isso era depois e upgrade de 16.04.
Depois de pesquisar e pesquisar mais tarde, descobri que estava ligado a um problema com o meu gerenciador de exibição (gdm3) de não conseguir iniciar o Wayland. O uso do lightDM corrigiu esse problema para mim.
Espero que isso ajude
sudo dpkg-reconfigure lightdm