que meios isso removeria configurações ao lado dos binários?
Não. Ele removerá o pacote e NÃO as dependências e reinstalará apenas o pacote. Arquivos de configuração são deixados como estão.
Se você também quiser reinstalar os arquivos de configuração, poderá removê-los e usar
sudo apt-get -o Dpkg::Options::="--force-confmiss" install --reinstall {package}
para reinstalar os arquivos junto com o pacote.