O Ubuntu permite que você instale vários ambientes de desktop todos ao mesmo tempo, e você pode alternar entre eles quando fizer o login. Infelizmente, a maioria não é "refinada" para trabalhar em conjunto (como você viu) para ver aplicativos para outros desktops espalhados quando você os instalou.
(Remover o pacote lubuntu-desktop não necessariamente remove todo o lxde; apenas remove o pacote que trouxe as partes consideradas essenciais para o lubuntu. O mesmo é válido para remover o ubuntu-desktop .)
Você pode TENTAR usando o comando do terminal
sudo apt-get autoremove
e veja se mais dos ambientes que você não quer usar serão removidos, mas provavelmente haverá alguns pacotes extras adicionais, independentemente disso.
Uma solução é começar do zero e instalar uma distro que usa o Mate como área de trabalho e não está cheia de itens que não são feitos para isso. Outra opção é simplesmente ignorar as coisas que não parecem funcionar com o Mate.