Não fará downgrade com os arquivos de configuração 5.5.
apt-get purge mysql* -y
find / |grep -i mysql
E faça backup e remova todas as pastas, depois instale o mysql 5.1.
Quanto à atualização para 5.5, use apt-get upgrade
.
Não se esqueça de DUMP todas as suas bases de dados (mysqldump ou phpmyadmin)!