Mantendo isso simples. Quando você executa um processo de desinstalação, está dizendo ao seu computador que o programa desapareceu, passando-o pelo processo de desinstalação (usando o arquivo de desinstalação dentro do aplicativo). Quando você simplesmente exclui a pasta, o computador ainda acha que o programa existe, mas não tem nada para apontar.
Isso pode criar vários problemas. Qualquer coisa que possa gostar deste programa (no seu caso, uma caixa de diálogo) ainda aparecerá, pois ele acha que o programa está lá. Ao tentar desinstalar qualquer coisa associada ao aplicativo, o processo de adicionar / remover não poderá localizar o arquivo de desinstalação desde que você o excluiu.
É sempre melhor passar pelo processo de adicionar / remover. Mesmo se você tiver que passar por alguns obstáculos, como executar software de adição / remoção de terceiros para encontrar a desinstalação, deverá fazê-lo. A simples exclusão da pasta do programa torna as coisas confusas.