Existem maneiras de fazer isso caçando arquivos de preferências e coisas do tipo. No entanto, ao longo dos anos o que eu acho muito mais simples nos usando um programa gratuito chamado AppCleaner .
O AppCleaner encontra os arquivos de preferências relacionadas e as pastas de suporte do aplicativo para você. Você tem a opção de excluí-los e deixar o programa intacto, o que essencialmente é como instalá-lo como novo. Ele deve fazer o que você está pedindo na maioria dos casos.