Na verdade, a maneira mais fácil é impedi-lo de funcionar, a menos que o espaço em disco seja uma grande preocupação.
Como impedir que o mysql seja executado no momento da inicialização? | Pergunte ao Ubuntu
Explica como pará-lo na reinicialização e uma parada em /etc/init.d/mysql deve pará-lo por enquanto.
Se você absolutamente precisar removê-lo, acredito que sua remoção, com o mysql interrompido, deve funcionar e deixar as bibliotecas do cliente inalteradas.