Muitas pessoas recomendam simplesmente remover o notificador de atualização:
sudo apt-get remove update-notifier
Mas isso também remove o pacote ubuntu-desktop, para que ele não funcione de maneira segura. Eu vim com a solução mais simples e mais brutal, que é apenas não ter esse programa como parte de sua inicialização do sistema. Para isso, abra seu arquivo bashrc
gedit ~/.bashrc
e adicione no final
killall update-notifier
Funcionou até agora. Este arquivo executa esses comandos toda vez que você inicia uma nova sessão, então ele deve matar o notificador assim que você fizer o login.