Você pode desativar o som nas configurações da sessão no cliente. Se isso não ajudar, tente desabilitar o início automático do pulseaudio para os usuários. Remover o pulseaudio completamente do sistema pode resultar em um comportamento imprevisível.
Editar: Definir "autospawn = no" em /etc/pulse/client.conf deve manter pulseaudio de autoinicialização para todos os usuários ( man pulse-client.conf
). Para mais explicações, veja por exemplo link