tudo que você precisa fazer é usar
sudo apt-get remove blueman
Isto irá removê-lo .. se você quiser removê-lo e quaisquer pacotes dependentes que não sejam mais necessários use
sudo apt-get remove --auto-remove blueman
Isso fará isso por você.