O nome do pacote é xfce4-notifyd
e só removerá notify-osd
(pois não podem coexistir) e o ubuntu-desktop
meta-pacote. Um último não irá prejudicar o seu sistema, mas tem algumas desvantagens, veja: Quais são as desvantagens de remover o metapacote do ubuntu-desktop?
Dito isto: não sei se xfce4-notifyd
faz o que você quer, mas tentar não prejudicará o seu sistema, pois você pode sempre voltar reinstalando o ubuntu-desktop
metapacote.