Você não precisa de nada, exceto os binários. Aqueles já devem ser copiados para outro local por make install. O resto pode ser removido. Se você não tiver certeza, faça um backup antes da remoção. Remova, teste se ainda estiver funcionando, se ainda estiver trabalhando, remova o backup.
Nota:
Como ændrük apontou: Usando checkinstall sobre make install
tem a virtude de permitir que o Ubuntu rastreie a instalação. Mais tarde, você poderá reverter qualquer alteração feita usando o gerenciamento de pacotes regular do Ubuntu.