Os arquivos em /etc/asterisk parecem que geralmente são enviados pelo pacote asterisk-config . Então é esse pacote que você precisa limpar. Seu autoremove removeu esse pacote, mas não o removeu. sudo apt-get --purge autoremove teria feito isso, mas agora que foi removido, dpkg -P asterisk-config é necessário.
Pode haver outros arquivos que você também precisa limpar. A chave é identificar qual pacote envia os arquivos removidos e limpar e reinstalar esses pacotes.
O comando debsums -ec (instale primeiro o pacote debsums ) lhe dirá quais arquivos de configuração foram removidos e quais pacotes os forneceram, portanto, isso pode informar o que você precisa limpar e reinstalar. Como alternativa, para qualquer arquivo, execute o comando dpkg -S file para informar qual pacote o forneceu.