Eu não estou mais tendo esse problema.
Parece que consertei atualizando meu kernel do Ubuntu. Eu fiz essa atualização há alguns meses e isso nunca mais aconteceu.
Confira esta resposta para saber como atualizar o kernel:
Como atualizar kernel para a última versão mainline sem qualquer Distro-upgrade?
Espero que conserte isso para quem está passando pelo mesmo problema!