Os arquivos de configuração são fornecidos pelo pacote nginx-common , não nginx . Portanto, você precisa limpar nginx-common :
sudo apt-get purge nginx-common
sudo apt-get install nginx
( nginx depende de nginx-common , remover nginx-common também removerá nginx .)
Não há necessidade de adicionar o nginx PPA apenas para recuperar os arquivos de configuração.