Não há uma maneira universalmente confiável de fazer isso após o fato, AFAIK. Uma coisa que pode funcionar, se o Makefile tiver um destino de desinstalação ou algo assim, seria examiná-lo e ver o que ele remove; que pode mostrar onde a instalação colocou as coisas.
No entanto, a questão de manter o controle dos arquivos instalados existe há muito tempo, e a resposta é geralmente os gerenciadores de pacotes. O que a maioria deles faz (basicamente) é instalar o pacote em um local isolado e, em seguida, empacotar os arquivos resultantes em um "pacote". Uma vez feito isso, você pode ver quais arquivos estão instalados olhando dentro do pacote (ou perguntando ao gerenciador de pacotes).
Uma coisa que você poderia fazer seria simular o que um gerenciador de pacotes faria. Crie um diretório e instale o programa nele (se seu programa usa ./configure , você pode usar isso para especificar um local de instalação alternativo; dependendo do programa, você pode ter que fazer algo mais complicado). Então veja o que há nesse diretório e encontre esses arquivos em seu sistema real.