Em Debian, ter um MTA é requerido por um grande número de pacotes. Tentar depurar o exim ou qualquer outro MTA resultará na instalação de uma alternativa. A ordem das alternativas é tal que a remoção do exim resultará na instalação de uma versão alternativa do exim ou de outro MTA. Esses requisitos, alternativas e conflitos tornam a alteração do seu MTA instalado um pouco complicada. Uma vez que simplesmente limpar o MTA não é fácil, e se você realmente tentou limpar seu MTA, você também teria que instalar quase tudo o que poderia usar um MTA.
Para lidar com essa estranheza do MTA, minha solução é instalar o SSMTP.
O pacote SSMTP, que é um não-daemon leve que envia somente o MTA que atenderá ao requisito do MTA e não entrará em conflito com outro MTA . Assim, você pode instalar o SSMTP ao mesmo tempo que todos os outros MTA no repositório padrão. Uma vez instalado, você pode limpar o MFCs do Exim ou de outros MTAs e alterar as coisas ao seu redor. O SSMTP preencherá o requisito do MTA e não fará com que o APT faça coisas confusas para tentar verificar se você tem um MTA instalado.