Adicionar
rm -rf /var/lib/mysql
rm -rf /etc/mysql*
antes do install
para deletar tudo, mas tenha cuidado, você pode ter esquemas de terceiros como o phpmyadmin, ... Então considere deletar uma por uma subpasta.
Talvez exista uma maneira elegante de fazer isso, como mysql_secure_installation